[发明专利]一种基于语音/手势的多通道融合方法

说明书

技术领域

本发明涉及提出了一种基于语音/手势的多通道融合方法，这种融合方法可 以提高语音/手势多通道融合人机交互的识别率，同时方便系统的扩展。

背景技术

多通道融合人机交互是将语音、手势、听觉、触觉等多个感知通道中的两 个或多个以信息融合的方式进行处理，使用户可以本能的利用多个感知通道以 自然、并行、协作的方式进行人机对话，使机器与人的交流尽量接近人与人之 间的自然交互，最终达到“以人为中心”交互方式目的。多通道融合算法是多 通道融合人机交互的核心和关键。

针对多通道人机交互融合算法，学术界提出的模型很多，但是还没有一种 方法可以综合考虑到多通道人机交互的各方各面。比如添加通道不会对原有算 法产生影响，通道对于时序性的考虑，算法的容错能力，算法的高效性等等， 因此，多通道融合人机交互要想得以广泛应用，必须提高多通道融合算法的性 能。本发明正是基于这种需求提出的。

发明内容

本发明的目的在于提供一种基于语音/手势的多通道融合方法，进一步提高 多通道融合算法的性能。

为了实现上述目的，本发明的技术方案为：一种基于语音/手势的多通道融 合方法，包括以下步骤：

A、构造四个队列，两个是词法层的工作事件队列，另外两个分别是临时任 务队列和执行任务队列；

B、在语音的工作事件队列中按时间顺序查找类型为“任务动作”的事件， 如果找到，将其放到临时工作队列中；

C、将语音/手势输入通道识别的词填充临时任务队列，若临时任务队列的 查找任务状态为“完成”，将临时任务队列的“完成”任务整个放到执行任务 队列中；

D、提取执行任务队列中的任务交由应用程序执行，程序执行该任务并且 返回执行结果，如果执行正确则结束该任务，否则，读取错误原因，作相应处 理。

步骤C包括以下步骤：

步骤1：初始化由一个二维数组表示的相关系数矩阵，二维数组的各项值均 为0；

步骤2：事件输入，查找产生任务槽的事件，每增加一个事件，数组中的行 和列增加一项；

步骤3：计算当前事件与工作事件现有事件的相关系数，填到相关系数矩阵 的相应位置。相关函数的计算在具体实现中，主要是通过实验统计，估计出相 关系数与考虑因素的关系，模拟出近似的分布函数进行计算。在本发明中，主 要考虑时间接近程度与相关系数的关系，用正态分布函数来表示。

f(x)=12πe-(x-u)22σ2(x>=0)]]>

在上式中，x表示时间发生的时间，f(x)表示相关系数，u＝630，σ＝238。

步骤4：若超过超时阈值，该事件还没有被选中，程序就强制丢掉该事件， 同时在相关系数矩阵中删除该项；

步骤5：根据任务槽的语法约束，选取符合要求的而且相关系数最大的事件 填充任务槽。

本发明在前人经验的基础上，综合利用面向任务融合模型、分层融合模型 以及概率转移融合模型3种现有多种多通道融合算法，形成新的融合算法，旨在 这3种算法的基础上，取长补短，进一步提高多通道融合算法的性能。通过以上 这三种模型的结合，本发明建立了一个比较通用的多通道融合算法模型，又能 提高多通道人机交互的正确率。

附图说明

图1为系统算法整体示意图。