[发明专利]一种多模态融合技术的体感操作系统、方法、眼镜、装置

说明书

本发明公开了一种多模态融合技术的体感操作系统、方法、眼镜、装置，属于体感技术领域；本发明系统包括：脑电波信息获取模块、体感信息获取模块、眼球信息获取模块、融合分析模块、交互反馈模块；本发明基于多模态的融合，从脑电波的识别获取出发结合体感、眼球多模态信息，并将其进行融合，进而实现更加智慧的辅助体感操作；本发明是基于虚拟空间与现实环境的交互，对于虚拟环境下基于人体的多模态信息融合，进而实现用户与虚拟空间假设的虚拟人物进行智能交互，利用多模态信息的融合，智能研判用户的意图，并将意图转化实现虚拟人物的智能交互，能够大大提升虚拟人物在虚拟场景中的拟人化，对于建立人‑机、数字孪生工程有着巨大的帮助。

技术领域

本发明属于体感技术领域，特别涉及一种多模态融合技术的体感操作系统、方法、眼镜、装置。

背景技术

多模态机器学习，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。多模态学习从1970年代起步，经历了几个发展阶段，在2010后全面步入Deep Learning阶段。人其实是一个多模态学习的总和；多模态学习是未来人工智能的发展方向。随着计算机能力的提升，虚拟现实、增强现实等虚拟现实交互的技术逐渐成为现实，但是目前而言还存留较多的空白，尤其是人机交互、数字孪生的发展越来越快，需求越来越明显，如何提高虚拟现实人机交互中机器的智能化显得尤为的重要，尤其是人在虚拟环境下，面对构建的虚拟人物如何实现虚拟人物更加的拟人化、智能化；

发明内容

(一)要解决的技术问题

基于上述内容，本发明有四种目的，第一个目的是基于多模态融合技术提出一种多模态融合技术的体感操作系统；第二个目的是基于构建好的系统提出一种相应的多模态融合技术的体感操作方法；第三个目的是基于系统提出一种装置用于搭载第一个目的所提出的系统，进而实现第二个目的中提出的方法；第四个目的在于提出一种装置用于辅助多模态融合技术的体感操作。

(二)技术方案

本发明通过如下技术方案实现：一种多模态融合技术的体感操作系统所述系统包括：

脑电波信息获取模块：用于识别获取脑电波信息；

体感信息获取模块：用于识别获取肢体信息；

眼球信息获取模块：用于识别眼球动作信息；

融合分析模块：用于对获取的脑电波信息、体感信息、眼球信息的多个多模态信息进行融合；

交互反馈模块：用于将融合分析模块融合的信息进行决策，并将决策信息进行反馈。

作为上述方案的进一步说明，所述脑电波信息获取模块包括脑电波识别芯片、至少四个温度传感芯片及至少两枚太阳穴监测芯片；其对应的脑电波多模态信息包括：脑电波信息、脑部前后左右四个区域的温度信息、心率信息。

作为上述方案的进一步说明，所述眼球信息获取模块对应获取眼球动态追踪信息、虹膜识别信息。

作为上述方案的进一步说明，融合分析模块包括特征提取模块及融合模块；

所述特征提取模块用于提取脑电波信息、体感信息、眼球信息的多个模态信息特征的提取，并通过通着判别当前环境下人体特征及需求信息；

所述融合模块用于将特征提取模块提取的特征信息及意图信息进行融合，生成融合需求。

作为上述方案的进一步说明，所述人体特征包括眼球聚焦位置、兴奋程度、肢体变化情况。

作为上述方案的进一步说明，所述交互模块根据脑电波信息、脑部前后左右四个区域的温度信息、心率信息、眼球动作信息识别当前人对目标的眼球聚焦位置、兴奋程度；通过体感信息获判断对目标的需求；通过多模态信息的融合将决策信息反馈至目标，目标依据决策信息做出不同响应。