[发明专利]基于MYO臂环和移动端的VR上肢康复训练平台及方法

权利要求书

1.一种基于MYO臂环和移动端的VR上肢康复训练平台，其特征在于，MYO臂环和移动端的VR上肢康复训练平台包括：

计算机，采用Unity3D软件构建Unity虚拟环境，Unity虚拟环境包括对3d上肢模型的肌电信息的实时可视化反馈，治疗的虚拟环境和康复训练游戏的场景及其训练模式；

MYO臂环，包括一个九轴惯性传感器、八个表面肌电传感器和一个蓝牙接收器，通过九轴惯性传感器检测手臂的运动轨迹、方位及手臂姿态信息，通过表面肌电传感器检测不同手势的肌电信号及其手势信息，通过蓝牙接收器实现与Unity虚拟环境及移动端平台的通信；

移动设备，为用于搭载基于Unity虚拟环境的手机或平板电脑，将MYO臂环采集的手势信息和手臂姿态信息映射到VR眼镜中，可视化展示给使用者；

VR眼镜，作为搭载移动设备的佩戴体，通过VR眼镜在移动设备上观察到Unity虚拟环境中反馈给使用者其手势信息和手臂姿态信息，进行人机交互；

使用者佩戴上MYO臂环及VR眼镜，通过采集使用者手部的手臂姿态信息，并通过肌电信号对手势信息进行解析识别，然后在Unity虚拟环境中转化为相应的手部动作，使用者通过操作移动设备进行上肢康复训练；

所述MYO臂环和移动端的VR上肢康复训练平台的训练方法，包括以下步骤：

第一步：使用者佩戴MYO臂环和VR眼镜，并确定其是否与计算机中的Unity虚拟环境通信成功，且与移动端设备的蓝牙连接成功；

第二步：通过使用者手腕内翻的手势，从移动设备上观看Unity虚拟环境中3d上肢模型中手臂的初始位置，并将该初始位置校准至正对VR眼镜搭载的移动设备屏幕；

所述第二步中，在Unity虚拟环境中导入3d上肢模型，将MYO臂环的初始化脚本赋给3d上肢模型，判断手势是否发生变化；然后每次校正时将手腕内翻手势作为启动校正手势，正对移动设备屏幕里面的3d上肢中小臂作为校准后初始手势；最开始的小臂校准时需要对小臂法向量和旋转方向进行补偿，需要调节小臂的旋转方向，使之与移动设备上MYO臂环的坐标轴方向一致，实现固定3d上肢中上臂并转动小臂的动作，直到最后校准时小臂朝向屏幕里面；

第三步：通过在Unity环境中编写关于MYO臂环的数据读取和姿态同步算法程序，依据MYO臂环上的九轴惯性传感器的陀螺仪数据同步使用者上肢模型中手臂的空间位置信息，同时依据使用者手部肌电信号解析当前手势；

第四步：在基础阶段，以治疗为场景，将手势信号发送给Unity虚拟环境中的3d上肢模型，执行不同的手部动作，并在移动设备界面实时显示MYO臂环采集的肌电信息；

第五步：在训练阶段，以游戏为场景，加入虚拟交互对象，在Unity虚拟环境场景中观察-模仿的训练模式，先设定动画完成抓取移动放置的观察场景，然后再主动运动上肢模仿观察动画场景，完成自身肢体的运动；

若检测到手部正常抓握住虚拟交互对象，则虚拟交互对象图像颜色从A变化至B，若虚拟交互对象图像颜色未发生变化，则使用者与虚拟交互对象未接触；

若检测到手部张开释放虚拟交互对象,并放置放虚拟交互对象在规定位置时，虚拟交互对象图像颜色从B变为C；

重复以上动作，通过移动设备反馈得到使用者的训练效果。

2.根据权利要求1所述的平台，其特征在于，在移动设备界面实时显示MYO臂环采集的肌电信息中，通过在Unity虚拟环境中加入GUI界面，基础阶段利用MYO臂环采集的手臂旋转角度、加速度信息及位置数据来直观地显示肌电信息；训练阶段则利用训练过程的得分情况、动作准确度及速度来间接地显示肌电信息，从而实时反馈给使用者。

3.根据权利要求1所述的平台，其特征在于，所述Unity虚拟环境的场景中，通过基于移动设备实现虚拟环境下的运动观察及运动模仿康复训练场景，即通过观察虚拟运动场景，诱发患者主动运动意图，并同时在游戏化训练中主动地模仿虚拟运动场景进行康复训练。

4.根据权利要求1所述的平台，其特征在于，在计算机的Unity虚拟环境的脚本中加入MYO臂环与移动设备对应的mac地址码，实现MYO臂环上的蓝牙与移动设备的蓝牙的成功连接，将计算机的Unity虚拟环境转至移动设备，以便随身携带进行康复训练。