[发明专利]一种基于多模态交互的虚拟实验系统及方法

权利要求书

1.一种基于多模态交互的虚拟实验系统，其特征在于，所述实验系统包括：输入层、感知与识别层、融合层以及应用层；

所述输入层，用于通过视觉通道采集人手骨骼节点的深度信息，通过触觉通道采集传感信号以及通过听觉通道采集语音信号，所述人手骨骼节点的深度信息包括：人手关节点坐标，所述传感信号包括：磁信号、光敏信号、触摸信号和震动信号；

所述感知与识别层，用于对视觉通道和听觉通道的信息进行识别，以及对触觉通道的信息进行感知；

所述融合层，用于根据所述感知与识别层的识别结果，分别对视觉通道、触觉通道和听觉通道的模态信息构建相应的向量集，以及，采用基于决策层面的多模态融合方法，在AR平台上对不同通道的所述向量集进行融合，其中，不同通道在一定时间段内的状态组合构成一个状态向量，向量集中包括多个状态向量，所述模态信息包括：视觉通道、触觉通道以及听觉通道的信息和表达的状态；

所述应用层，用于根据所述融合层的融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果；

其中，所述融合层包括：

向量集构建模块，用于根据所述感知与识别层的识别结果，分别对视觉通道、触觉通道和听觉通道的模态信息构建相应的向量集；

多模态信息整合模块，用于在AR平台上根据不同通道的模态信息所构成的触发条件，利用公式：计算当前节点的系统状态，其中，所述系统状态包括：初始化、开始、结束、拿取、震动反馈、选择V、选择A、错误位置、正确位置、倾倒、切割、放下以及语音导航，e_n为节点，m_n为触发条件权重值，且当模态相交时，m_n∈{Model₁∩Model₂,Model₂∩Model₃,Model₁∩Model₃}，当模态相互独立时，m_n∈{Model₁,Model₂,Model₃}，Model₁∈{rh(1,2,3),lh(1,2,3)}，Model₂∈{sp(s₁,s₂,s₃,…s_n)}，Model₃∈{ls,rs(1,2,3,4),s(1,2,3,4),ss}，Model₁为视觉通道的模态信息，Model₂为听觉通道的模态信息，Model₃为触觉通道的模态信息，rh为右手状态，lh为左手状态，sp为关键词，用于表达不同的状态，n为关键词的种类，rs表示光敏信号，ts表示触摸信号，ls表示磁信号，ss表示震动信号；

多模态意图理解的语音导航交互MIDI算法模块，用于判断所述系统状态所表达的实验物体是否为语音导航的触发物体，且当所述系统状态所表达的实验物体为语音导航的触发物体时，进行当前状态的语音导航提示，以及根据语音提示进行下一步操作，否则，根据数据库确定所述触发物体匹配的语音提示词进行语音导航，直到所述系统状态所表达的实验物体为语音导航的触发物体为止，其中，所述数据库中预存有触发物体与语音提示词之间的映射关系。

2.根据权利要求1所述的一种基于多模态交互的虚拟实验系统，其特征在于，所述感知与识别层包括：

视觉信息识别模块，用于构建AR环境，在卷积神经网络中训练手势识别模型，以及根据输入层所捕获的人手骨骼节点的深度信息，利用所述手势识别模型进行手势识别；

传感信号感知模块，用于利用磁传感器、光敏传感器、触摸传感器和震动传感器感知3D打印容器的位置和行为；

语音信号识别模块，用于利用API关键词识别的方法识别实验过程中的语音，以及通过语音进行人机交互。