[发明专利]基于VR技术的虚拟查体教学方法和装置

说明书

本申请涉及一种基于VR技术的虚拟查体教学方法和装置，其中，所述基于VR技术的虚拟查体教学方法包括：构建虚拟场景和虚拟病人；通过VR头盔设备向训练者显示虚拟环境和虚拟病人，与训练者进行交互；通过肢体及手势识别模块，识别训练者的查体操作行为；通过语音识别设备识别训练者的语音信息；控制所述虚拟病人根据所述查体操作行为和所述语音信息，向训练者进行反馈；实时监测训练者的查体操作行为和语音信息是否合乎规范，并对查体操作行为和语音信息进行统计和评价，给出训练成绩和指导建议。

技术领域

本申请涉及医学教育相关领域，具体涉及一种基于VR技术的虚拟查体教学方法和装置。

背景技术

查体作为医生临床诊治病人的重要手段，是每个医学生成为医生之前必须熟练掌握的一门技能。在整个医学学习过程中需要反复的训练和巩固。如何能在尽可能少的耗费教学资源和导师时间的情况下，形成一套行之有效的自动化教学解决方案一直是医学教育的难题。

现有的训练方法为SP(标准化病人)方案，即：挑选符合条件的人员，经过标准化，系统化培训后，通过表演，化妆，道具等手段，来模拟临床病人。训练者通过这种模拟的临床病人来进行模拟训练。缺点是：训练SP需要大量的资金和时间的投入，训练成本高昂。而且由于模拟病人和真实的病人有比较大的差距，模拟病人无法通过表演和化妆体现所有病理特征，真实性不高。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于VR技术的虚拟查体教学方法和装置。

根据本申请实施例的第一方面，提供一种基于VR技术的虚拟查体教学方法，包括：

构建虚拟场景和虚拟病人；

通过VR头盔设备向训练者显示虚拟环境和虚拟病人，与训练者进行交互；

通过肢体及手势识别模块，识别训练者的查体操作行为；

通过语音识别设备识别训练者的语音信息；

控制所述虚拟病人根据所述查体操作行为和所述语音信息，向训练者进行反馈；

实时监测训练者的查体操作行为和语音信息是否合乎规范，并对查体操作行为和语音信息进行统计和评价，给出训练成绩和指导建议。

可选的，构建虚拟场景包括：

构建查体所处的病房，医疗设备，摆设器具和查体器械。

可选的，构建虚拟病人包括：

构建病人模型，构建病人动作，构建病人语音

所述病人模型包括网格，贴图，材质三部分，用来表述真实病人的外观；

所述病人动作用来体现病人的病理特征和生理反应；其中，病理特征包括：比如腹痛、驼背、瘸腿和查体过程中的体位；

所述生理反应包括：比如膝跳、咳嗽、呻吟、痛苦等；

所述病人语音用来模拟病人的发声；其中所述病人语音的医用特征基于不同的病例数据进行调整。

可选的，所述VR设备为htc vive pro VR设备，用于显示虚拟场景和虚拟病人，以及在查体过程中的所有交互结果的反馈信息显示，对训练者实时定位和同步真实位置、朝向等数据。

可选的，所述肢体及手势识别设备：用于对训练者的肢体动作和手势的检测识别，承担训练者肢体动作和手部动作和虚拟的训练者的姿态同步；

可选的，所述肢体及手势识别设备包括：kinect肢体姿态识别设备，和leapmotion手势动作识别设备。

可选的，所述语音识别设备：负责将训练者所说的话翻译成文字，并将文字转换成指令词条，驱动虚拟病人做出对应的反馈；