[发明专利]一种基于多模态交互的虚拟实验系统及方法有效
| 申请号： | 202010284617.6 | 申请日： | 2020-04-13 |
| 公开（公告）号： | CN111651035B | 公开（公告）日： | 2023-04-07 |
| 发明（设计）人： | 冯志全;肖梦婷 | 申请（专利权）人： | 济南大学 |
| 主分类号： | G06F3/01 | 分类号： | G06F3/01;G06V40/20;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08 |
| 代理公司： | 济南诚智商标专利事务所有限公司 37105 | 代理人： | 李修杰 |
| 地址： | 250022 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种基于多模态交互的虚拟实验系统及方法，该实验系统主要包括输入层、感知与识别层、融合层以及应用层。该方法包括：分别通过视觉通道、触觉通道和听觉通道，采集相应的视觉信息、传感信号以及语音信号；分别对不同通道的信息进行识别；根据识别结果，采用基于决策层面的多模态融合方法，在AR平台上对视觉通道、触觉通道和听觉通道的模态信息所构建的相应向量集进行融合；根据融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果。通过本申请，能够充分利用多种通道，并采用多模态融合的方法实现实验过程，有利于降低用户操作负荷，提高实验的沉浸感，提高虚拟交互的效率。 | ||
| 搜索关键词： | 一种 基于 多模态 交互 虚拟 实验 系统 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于济南大学，未经济南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010284617.6/，转载请声明来源钻瓜专利网。
