[发明专利]一种基于多模态交互的虚拟实验系统及方法

说明书

本申请公开了一种基于多模态交互的虚拟实验系统及方法，该实验系统主要包括输入层、感知与识别层、融合层以及应用层。该方法包括：分别通过视觉通道、触觉通道和听觉通道，采集相应的视觉信息、传感信号以及语音信号；分别对不同通道的信息进行识别；根据识别结果，采用基于决策层面的多模态融合方法，在AR平台上对视觉通道、触觉通道和听觉通道的模态信息所构建的相应向量集进行融合；根据融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果。通过本申请，能够充分利用多种通道，并采用多模态融合的方法实现实验过程，有利于降低用户操作负荷，提高实验的沉浸感，提高虚拟交互的效率。

技术领域

本申请涉及虚拟实验技术领域，特别是涉及一种基于多模态交互的虚拟实验系统及方法。

背景技术

随着人机交互技术的发展，利用增强现实技术呈现虚拟实验的方法，在教学教育领域的应用越来越广泛，尤其是有化学危险品和危险实验现象的化学教育领域，虚拟实验的应用更加迫切。如何设计虚拟实验方法及实验系统，从而规避学生操作实验的风险以及提高学生对知识的学习兴趣，是虚拟实验设计中的重要问题。

目前的虚拟实验方法，通常是利用增强现实技术，通过视觉通道完成对真实世界与虚拟场景的渲染呈现。具体地，通过SLAM定位、卡片标记识别或者手势识别技术完成虚拟融合和虚拟交互。

然而，目前的虚拟实验方法中，由于主要通过视觉通道这一单一的方式实现虚拟融合，使得用户的操作负荷过重，从而导致虚实交互效率较低，进而使得用户对实验的真实性体验不够好。

发明内容

本申请提供了一种基于多模态交互的虚拟实验系统及方法，以解决现有技术中虚拟实验方法使得虚实交互效率较低的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种基于多模态交互的虚拟实验系统，所述实验系统包括：输入层、感知与识别层、融合层以及应用层；

所述输入层，用于通过视觉通道采集人手骨骼节点的深度信息，通过触觉通道采集传感信号以及通过听觉通道采集语音信号，所述人手骨骼节点的深度信息包括：人手关节点坐标，所述传感信号包括：磁信号、光敏信号、触摸信号和震动信号；

所述感知与识别层，用于对视觉通道和听觉通道的信息进行识别，以及对触觉通道的信息进行感知；

所述融合层，用于根据所述感知与识别层的识别结果，分别对视觉通道、触觉通道和听觉通道的模态信息构建相应的向量集，以及，采用基于决策层面的多模态融合方法，在AR平台上对不同通道的所述向量集进行融合，其中，不同通道在一定时间段内内的状态组合构成一个状态向量，向量集中包括多个状态向量，所述模态信息包括：视觉通道、触觉通道以及听觉通道的信息和表达的状态；

所述应用层，用于根据所述融合层的融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果。

可选地，所述感知与识别层包括：

视觉信息识别模块，用于构建AR环境，在卷积神经网络中训练手势识别模型，以及根据输入层所捕获的人手骨骼节点的深度信息，利用所述手势识别模型进行手势识别；

传感信号感知模块，用于利用磁传感器、光敏传感器、触摸传感器和震动传感器感知3D打印容器的位置和行为；

语音信号识别模块，用于利用API关键词识别的方法识别实验过程中的语音，以及通过语音进行人机交互。

可选地，所述融合层包括：

向量集构建模块，用于根据所述感知与识别层的识别结果，分别对视觉通道、触觉通道和听觉通道的模态信息构建相应的向量集；