[发明专利]一种基于实验场景态势感知的智能烧杯

说明书

本发明提出了一种基于实验场景态势感知的智能烧杯，包括多模态输入感知模块、意图理解模块和意图融合模块；多模块输入感知模块用于接收语音传感器和视觉信息。意图理解模块用于根据语音关键字与语音意图库中意图的相关度得到语音意图；通过姿态传感器和测距设备交互获取烧杯的三维信息得到操作行为意图；基于图获取的图像，采用slam技术感知烧杯运动轨迹和采用区域生成网络感知场景态势得到场景感知意图。意图融合模块用于将用户意图利用模糊逻辑算子进行模糊推理，结合场景感知意图得到意图融合最终结果。本发明通过智能烧杯通过多模态融合与意图理解算法解决了用户行为的过程监控、实验场景理解和真实感量化交互方法的问题。

技术领域

本发明属于中学化学实验技术领域，特别涉及一种基于实验场景态势感知的智能烧杯。

背景技术

中学化学科目是比较重要的科目，而化学是一个以实验为基础的学科，烧杯在中学化学实验中占有举足轻重的地位。

在现阶段中学生化学实验课堂中，部分化学实验存在着危险性、实验现象不明显甚至无法观察等问题。学生在操作时往往会出现操作不规范，实验步骤不正确等问题。并且在传统的实验教学中缺少了老师与学生之间的互动，不利于老师掌握每一个学生的学习情况，如果出现错误的操作步骤也不能进行及时的提示，很难做到对每个学生逐一进行指导。绝大部分中学也不可能用大量危险性的试剂让学生进行探索性实验。

发明内容

为了解决上述技术问题，本发明提出了一种基于实验场景态势感知的智能烧杯。通过多模态融合与意图理解算法实现了用户行为的过程监控、实验场景理解和真实感量化交互。

为实现上述目的，本发明采用以下技术方案：

一种基于实验场景态势感知的智能烧杯，包括多模态输入感知模块、意图理解模块和意图融合模块；

所述多模态输入感知模块用于接收语音信息并提取出关键字；通过设置在烧杯上的图像采集设备获取烧杯的运动轨迹和烧杯与周围物体的相对位置关系；通过设置在烧杯上的姿态传感器感知烧杯姿态变化；通过测距设备测量烧杯与周围物体的距离；

所述意图理解模块用于根据语音关键字与语音意图库中意图的相关度得到语音意图；通过姿态传感器和测距设备交互获取烧杯的三维信息得到操作行为意图；基于图像采集设备获取的图像，采用slam技术感知烧杯运动轨迹和采用区域生成网络感知场景态势得到场景感知意图；

所述意图融合模块用于将操作行为意图通过隶属度函数进行模糊化处理；将语音意图通过连续型论域进行模糊化；将模糊化处理后的语音意图、操作意图通过利用模糊逻辑算子进行模糊推理，结合场景感知意图得到意图融合最终结果。

进一步的，所述烧杯外壁的同一垂直线上设置图像采集设备和测距设备；所述烧杯外壁的中间水平线下方设置姿态传感器。

进一步的，所述根据语音关键字与语音意图库中意图的相关度得到语音意图的方法为：

由语音通道得到语音关键词k,以及所述关键词与语音意图库中每个意图的相关度q_i；其中q_i＝[q₁ q₂...q_m]；所有的意图m对应的标准结果为V＝[v₁v₂...v_m]；

计算k与V之间的距离度D，其中D＝{|k-v_i|(1-q)|i＝1,2,...,m}；其中距离度最小对应的vi为语音意图。

进一步的，所述通过姿态传感器和测距设备交互获取烧杯的三维信息得到操作行为意图的方法为：