[发明专利]基于VR技术的虚拟查体教学方法和装置

权利要求书

1.一种基于VR技术的虚拟查体教学方法，其特征在于，包括：

构建虚拟场景和虚拟病人；

通过VR头盔设备向训练者显示虚拟环境和虚拟病人，与训练者进行交互；

通过肢体及手势识别模块，识别训练者的查体操作行为；

通过语音识别设备识别训练者的语音信息；

控制所述虚拟病人根据所述查体操作行为和所述语音信息，向训练者进行反馈；

实时监测训练者的查体操作行为和语音信息是否合乎规范，并对查体操作行为和语音信息进行统计和评价，给出训练成绩和指导建议。

2.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，构建虚拟场景包括：

构建查体所处的病房，医疗设备，摆设器具和查体器械。

3.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，构建虚拟病人包括：

构建病人模型，构建病人动作，构建病人语音；

所述病人模型包括网格，贴图，材质三部分，用来表述真实病人的外观；

所述病人动作用来体现病人的病理特征和生理反应；其中，病理特征包括：腹痛、驼背、瘸腿和查体过程中的体位；

所述生理反应包括：膝跳、咳嗽、呻吟、痛苦；

所述病人语音用来模拟病人的发声；其中所述病人语音的医用特征基于不同的病例数据进行调整。

4.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，所述VR设备为htc vive pro VR设备，用于显示虚拟场景和虚拟病人，以及在查体过程中的所有交互结果的反馈信息显示，向训练者实时定位和同步真实位置和朝向数据。

5.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，所述肢体及手势识别设备：用于对训练者的肢体动作和手势的检测识别，承担训练者肢体动作和手部动作和虚拟的训练者的姿态同步；

其中，虚拟的训练对象为当前训练者在虚拟世界中的承载对象；主要用来同步VR设备的位置和朝向数据，以及肢体及手势识别设备识别到的训练者状态数据，通过虚拟训练者，虚拟场景，虚拟病人，营造一种真实的查体训练教学情境。

6.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，所述肢体及手势识别设备包括：kinect肢体姿态识别设备，和leapmotion手势动作识别设备。

7.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，所述语音识别设备：负责将训练者所说的话翻译成文字，并将文字转换成指令词条，驱动虚拟病人做出对应的反馈；

其中，所述虚拟病人的反馈包括：动作反馈和/或语音反馈。

8.根据权利要求1所述的基于VR技术的虚拟查体教学方法，其特征在于，还包括：

实施监测训练者的查体操作行为，语言内容是否符合查体的流程规范和专业规范；并对不符合规范的查体操作行为和医用做出对应的提示。

9.一种基于VR技术的虚拟查体教学设备，其特征在于，包括：

构建模块，用于构建虚拟场景和虚拟病人；

显示模块，用于通过VR头盔设备向训练者显示虚拟环境和虚拟病人，与训练识别模块，用于通过肢体及手势识别模块：识别训练者的查体操作行为，用于通过语音识别设备识别训练者的语音信息；

反馈模块，用于控制所述虚拟病人根据所述查体操作行为和所述语音信息，向训练者进行反馈；

评价模块，用于实时监测训练者的查体操作行为和语音信息是否合乎规范，并对查体操作行为和语音信息进行统计和评价，给出训练成绩和指导建议。

10.一种存储介质，其特征在于，所述存储介质内存储有预设的程序，当所述预设程序被执行是，以实现如权利要求1～8任一项所述的基于语音识别技术的标准化病人培训方法。