[发明专利]基于虚拟、混合现实的针灸互动教学系统和方法

权利要求书

1.基于虚拟、混合现实的针灸互动教学系统，其特征在于，包括：数据建立模块、教学互动模块、练习模块和考试模块；

数据建立模块，用于建立教学数据，并将教学数据分别传输到所述教学互动模块、所述练习模块和所述考试模块；

其中，所述数据建立模块包括数据录入单元、模型生成单元和坐标生成单元，所述数据录入单元用于采集虚拟人体数据和真人模特的人体数据，并将采集到的人体数据传输到模型生成单元，所述模型生成单元用于接收所述数据录入单元传输的人体数据，并生成虚拟的人体结构数据三维模型，所述模型生成单元还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到所述坐标生成单元，所述坐标生成单元用于接收模型生成单元输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据，所述坐标生成单元还用于将教学数据传输到所述教学互动模块；

所述数据录入单元采集的虚拟人体数据包括人体的全部人体内外部的组织结构数据和人体穴位数据，所述数据录入单元采集的真人人体数据包括图像数据；

教学互动模块，用于接收所述数据建立模块传输的教学数据，并采集教师和学生的数据，将采集的教师和学生的数据与教学数据进行融合，同时还用于展示教学数据，得到讲解数据，并将讲解数据传输到所述练习模块；

其中，所述教学互动模块包括第一采集单元、第一融合单元、第一追踪单元、第一虚拟单元、展示单元和第一同步单元，所述第一虚拟单元用于虚拟针灸针，所述第一采集单元用于采集教学数据，所述第一采集单元还用于采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元，所述第一融合单元用于接收所述第一采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元，所述第一追踪单元用于接收所述第一融合单元传输的数据并对关键点进行追踪，所述第一追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述展示单元，所述展示单元用于接收所述第一追踪单元传输的追踪数据并进行展示和讲解，生成讲解数据，所述展示单元还用于将讲解数据传输到第一同步单元，所述第一同步单元用于接收展示单元传输的讲解数据并传输至所述练习模块；

所述展示单元还用于对教学数据中虚拟人体进行旋转、 翻转、 切片观察、隐藏和显示人体部位；

练习模块，用于接收所述教学互动模块传输的讲解数据，还用于接收所述数据建立模块传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪并实时反馈和评价；

所述练习模块包括第二同步单元、第二采集单元、第二虚拟单元、第二融合单元、第二追踪单元、第一数据收集单元、第一比对单元、第一判断单元、反馈单元和第一评价单元，所述第二同步单元用于接收所述教学互动模块传输的讲解数据并对学生进行展示，所述第二虚拟单元用于虚拟针灸针，所述第二采集单元用于采集教学数据，所述第二采集单元还用于采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元，所述第二融合单元用于接收所述第二采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元，所述第二追踪单元用于接收所述第二融合单元传输的数据并对关键点进行追踪，所述第二追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第一数据收集单元，所述第一数据收集单元对追踪数据进行采集，将采集的数据发送到所述第一比对单元，所述第一比对单元预设有标准动作数据，所述第一比对单元将数据与标准动作数据进行比对，将结果发送至所述第一判断单元，所述第一判断单元根据比对结果进行判断，得到判断结果，将判断结果发送至所述反馈单元，所述反馈单元根据判断结果发出反馈信息；

所述第二追踪单元得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，所述第一比对单元预设的标准动作数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述反馈单元发出反馈信息包括实时力度反馈、时长反馈、声音反馈、灯光效果反馈和虚拟人体实时治疗效果反馈，所述第二同步单元的展示方式为影像和声音，所述第二融合单元映射融合后的数据中内的关键点包括学生手部的坐标数据；

所述反馈单元根据判断结果，将针灸针的位置、角度、幅度，以辅助线进行提示，并且以颜色作为区分：红色代表错误、橙色代表偏差过大、黄色代表接近正确、绿色代表正确，而力度、时长等，用辅助图标提示，力度用一个代表力量的进度条表示，时长用一个倒计时时钟表示，同时还进行声音、力度反馈、灯光效果等进行提醒，根据针灸方式的正确性，反馈出病人好转的流转过程；

考试模块，用于录入考试试题数据，还用于接收所述数据建立模块传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪，对学生的操作进行评价并输出。