[发明专利]一种多模态融合技术的体感操作系统、方法、眼镜、装置

权利要求书

1.一种多模态融合技术的体感操作系统，其特征在于，所述系统包括：

脑电波信息获取模块：用于识别获取脑电波信息；

体感信息获取模块：用于识别获取肢体信息；

眼球信息获取模块：用于识别眼球动作信息；

融合分析模块：用于对获取的脑电波信息、体感信息、眼球信息的多个多模态信息进行融合；

交互反馈模块：用于将融合分析模块融合的信息进行决策，并将决策信息进行反馈。

2.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：所述脑电波信息获取模块包括脑电波识别芯片、至少四个温度传感芯片及至少两枚太阳穴监测芯片；其对应的脑电波多模态信息包括：脑电波信息、脑部前后左右四个区域的温度信息、心率信息。

3.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：所述眼球信息获取模块对应获取眼球动态追踪信息、虹膜识别信息。

4.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：融合分析模块包括特征提取模块及融合模块；

所述特征提取模块用于提取脑电波信息、体感信息、眼球信息的多个模态信息特征的提取，并通过通着判别当前环境下人体特征及需求信息；

所述融合模块用于将特征提取模块提取的特征信息及意图信息进行融合，生成融合需求。

5.如权利要求4所述的一种多模态融合技术的体感操作系统，其特征在于：所述人体特征包括眼球聚焦位置、兴奋程度、肢体变化情况。

6.如权利要求1所述的一种多模态融合技术的体感操作系统，其特征在于：所述交互模块根据脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息识别当前人对目标的眼球聚焦位置、兴奋程度；通过体感信息获判断对目标的需求；通过多模态信息的融合将决策信息反馈至目标，目标依据决策信息做出不同响应。

7.一种多模态融合技术的体感操作检测方法，其特征在于，所述方法包括如下步骤：

通过感知设备获取人体的脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息及肢体信息；

将获得的多个模态信息进行融合决策当前人对目标的眼球聚焦位置、兴奋程度及动作需求；

将决策信息反馈至目标并进行信息反馈。

8.一种多模态融合技术的体感操作眼镜，其特征在于，包括至少一个脑电波检测装置、眼球追踪装置、体感检测装置、显示装置、处理芯片、存储装置、及通讯装置；其中所述存储期内存储有执行代码，所述执行带帽能够被所述处理器执行并实现权利要求7所述的一种基于多模态融合技术的体感操作检测方法。

9.一种多模态融合技术的体感操作手持控制装置，其特征在于：使用者通过所述手持控制装置控制如权利要求1所述的一种基于多模态融合技术的体感操作系统中的基础控制。