[发明专利]一种多模态人机交互系统及交互方法

权利要求书

1.一种多模态人机交互系统，其特征在于包括：

非接触式指令采集单元，用于采集非接触式指令，

所述非接触式指令采集单元包括用于获取手势指令的手势指令采集模块、用于获取眼动指令的眼动指令采集模块、及用于获取语音指令的语音指令采集模块；

指令响应单元，用于接收非接触式指令采集单元的指令信息，并进行指令信息处理后输出至机响应端，

所述指令响应单元包括接口处理模块、指令融合模块及融合信息处理模块，所述接口处理模块分别与非接触式指令采集单元、指令融合模块及融合信息处理模块相通讯连接，所述融合信息处理模块分别与接口处理模块、语音指令采集模块相通讯连接，

其中，所述指令融合模块用于将所述非接触式指令采集单元中至少两个采集模块的采集指令进行融合生成融合指令，

所述融合信息处理模块用于接收指令融合模块的融合指令或语音指令采集模块的语音指令，并将融合指令或语音指令转为协议指令，

所述接口处理模块用于接收非接触式指令采集单元并传输至指令融合模块中、及用于将融合信息处理模块的协议指令输出。

2.基于权利要求1所述一种多模态人机交互系统的交互方法，其特征在于包括如下步骤：

S1非接触式指令采集，

S11眼动指令采集模块采集眼动指令，

S12手势指令采集模块采集手势指令，

S13语音指令采集模块采集语音指令；

S2指令融合，

手势指令、眼动指令、语音指令经接口处理模块传输至指令融合模块内进行指令融合生成融合指令，

S3融合指令输出，

融合信息处理模块接收到融合指令或语音指令，转换为协议指令经接口处理模块输出。

3.根据权利要求2所述一种多模态人机交互系统的交互方法，其特征在于：

步骤S11中，根据头部姿态及眼部动作计算出视觉落点，并生成眼动的热点；

步骤S12中，识别出手势指令，该手势指令包括非接触式鼠标指令或非接触式触屏指令；

步骤S13中，语音指令包括定式语音指令、语意识别指令。

4.根据权利要求3所述一种多模态人机交互系统的交互方法，其特征在于：

步骤S2中，融合指令包括热点与手势指令的融合，热点与语音指令的融合，热点、手势指令、语音指令的融合，手势指令与语音指令的融合。

5.根据权利要求4所述一种多模态人机交互系统的交互方法，其特征在于：

步骤S2中，指令融合模块内生成步骤S11中热点集合的热区，

步骤S13中，具备针对热区的特定语音指令，

在所述热区内仅响应热点与手势指令和/或特定语音的指令融合。

6.根据权利要求4所述一种多模态人机交互系统的交互方法，其特征在于：

步骤S2中，指令融合模块内生成步骤S12中手势使用频度热区。