[发明专利]一种多模态人机交互系统及交互方法

说明书

本发明揭示了一种多模态人机交互系统，包括非接触式指令采集单元和指令响应单元，其中，非接触式指令采集单元包括手势指令采集模块、眼动指令采集模块、及语音指令采集模块，指令响应单元包括接口处理模块、指令融合模块及融合信息处理模块。交互过程中，进行非接触式指令采集，手势、眼动、语音指令由指令融合模块生成融合指令，融合信息处理模块接收融合指令或语音指令，转换为协议指令经接口处理模块输出。本发明具备三种非接触指令的指令融合功能，人机互动自然化，且指令输出可靠稳定。热区的建立能提供可靠的抗指令干扰性、及预测性，更人性化，使融合指令更精确。高度集成化，整体交互为非接触式作业，适于机载，满足繁多人机交互需求。

技术领域

本发明涉及一种交互系统，尤其涉及一种多模态人机交互系统及交互方法，属于人机交互的技术领域。

背景技术

目前，人机交互是通过接触式指令输入的方式实现的，通过指令按钮或触屏指令进行的人机互动，指令输入过程会分散操作人员的部分精力。而为了增加互动便利性，会在人机交互系统中植入语音指令功能，从而实现语音指令与接触式指令的配合作业。语音与接触式配合能提高交互便利性，但是依然无法实现自然化作业。

专利号为CN104714645A的专利，也提出了一种多模态人机交互系统及方法，该专利主要利用多级人工神经网络及互斥信息，将人体发送的指令信息进行区分及甄别，通过语义辨识做出响应，主要涉及的指令形式包括体感，语音和手势，实际实施中该方法会将并行的指令形式转换为串行，并未实现真正意义上的自然化操作。

专利号为CN103809733A的专利，提出一种基于人视线及手指指向的交互方式，该方法采用图像的方式，获取视线及手部动作，并依据相应的手势及眼部指示时间，来确定操作目标，通过特定手势来启动或停止手势识别，并完成目标操作响应，结构简单易于实现，该种操作方式并未实现自然流畅的人机交互方式，只是简单的两种操作模式的组合，并未实现真正意义上的自然交互。

本案即致力于人机自然交互的研究及技术方案确立。

发明内容

本发明的目的是解决上述现有技术的不足，创新地提出一种多模态人机交互系统及交互方法。

为了达到上述目的，本发明所采用的技术方案为：

一种多模态人机交互系统，包括：

非接触式指令采集单元，用于采集非接触式指令，

所述非接触式指令采集单元包括用于获取手势指令的手势指令采集模块、用于获取眼动指令的眼动指令采集模块、及用于获取语音指令的语音指令采集模块；

指令响应单元，用于接收非接触式指令采集单元的指令信息，并进行指令信息处理后输出至机响应端，

所述指令响应单元包括接口处理模块、指令融合模块及融合信息处理模块，所述接口处理模块分别与非接触式指令采集单元、指令融合模块及融合信息处理模块相通讯连接，所述融合信息处理模块分别与接口处理模块、语音指令采集模块相通讯连接，

其中，所述指令融合模块用于将所述非接触式指令采集单元中至少两个采集模块的采集指令进行融合生成融合指令，

所述融合信息处理模块用于接收指令融合模块的融合指令或语音指令采集模块的语音指令，并将融合指令或语音指令转为协议指令，

所述接口处理模块用于接收非接触式指令采集单元并传输至指令融合模块中、及用于将融合信息处理模块的协议指令输出。

本发明的另一个目的，提出了一种多模态人机交互系统的交互方法，包括如下步骤：

S1非接触式指令采集，

S11眼动指令采集模块采集眼动指令，

S12手势指令采集模块采集手势指令，