[发明专利]一种融合机器视觉和虚拟现实的上肢康复系统

权利要求书

1.一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于，包括双目摄像机(1)、人体骨骼识别算法模块(2)、代偿检测模块(3)、动作识别模块(4)、外骨骼上肢康复机器人(5)、虚拟现实平台(6)；

双目摄像机(1)用于实时采集输入图像数据；

人体骨骼识别算法模块(2)用于处理双目摄像机(1)得到的图像数据，从输入图像数据中定位人体区域，获得人体各关节的三维坐标信息，并基于关节数据进一步获得人体姿态和动作信息；

代偿检测模块(3)利用人体骨骼识别算法模块(2)获取人体躯干关节的空间位置信息，并通过分类器模型感知患者主动运动训练过程中躯干的姿态信息，判断是否出现代偿行为，并通过虚拟现实平台(6)提醒患者；

动作识别模块(4)根据患者健侧肢体关节的运动信息，基于深度学习模型识别患者健侧的动作类型，作为其自主训练意图来控制外骨骼上肢康复机器人(5)执行对应动作，实现便捷智能的人机交互；

外骨骼上肢康复机器人(5)用于穿戴在患者患侧，带动上肢进行康复训练，参与康复游戏；

虚拟现实平台(6)用于存储患者信息，同时通过接收外骨骼康复机器人(5)的位置数据实现与增强虚拟现实游戏的交互，显示康复训练场景、患者实时运动姿态和代偿评估的结果，游戏过程中通过视觉显示和语音提示与患者交互，最后生成游戏报告。

2.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：双目摄像机(1)安装于显示器上方，且向下倾斜30度朝向训练场景。

3.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：人体骨骼识别算法模块(2)中，先通过自下而上的2D人体骨骼识别算法预测出图像中人体关节的2D像素坐标，然后对定位的每个关节像素点，利用双目定位原理测量出其三维坐标，经滤波算法去除异常值后，即可得到人体关节的精确空间信息。

4.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：代偿检测模块(3)中，所述分类器模型为基于1DCNN的代偿识别算法，包括拼接的特征提取器和分类器，所述特征提取器包括三层1DCNN，所述分类器包括五层全连接网络。

5.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：所述分类器的输入特征为人体躯干上四个关节的位置信息，通过分类器模型预测患者训练过程中的姿态信息，判断是否存在代偿行为并通过虚拟现实平台(6)提醒患者及时纠正异常姿态，所述代偿行为包括是否存在躯干旋转、躯干前倾和肩部上抬中的任一种或多种。

6.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：所述动作类型包括常用的康复训练动作和日常动作。

7.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：所述康复训练包括主动训练、被动训练及主被动训练多种训练模式。

8.根据权利要求1所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：虚拟现实平台(6)中存储多款主动训练游戏、被动训练游戏，患者根据康复处方选择康复游戏，患者置身于虚拟现实环境中，上位机通过接收外骨骼上肢康复机器人(5)发送的患侧肢体位置数据，在虚拟现实环境中完成游戏互动和训练任务。

9.根据权利要求1-8任一所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：动作识别模块中，采用三路并联分支动作识别模型来对动作进行识别。

10.根据权利要求9所述的一种融合机器视觉和虚拟现实的上肢康复系统，其特征在于：三路并联分支动作识别模型包括三路并联的编码器和解码器结构、全连接网络层和Soft_max模块，

编码器内部结构为输入信息经两层1DCNN处理后，提取出多通道的空间和短时序特征，随后这些特征被输入到通道注意力模块中编码出各通道的关注度信息；解码器的内部结构为输入信息先经过自注意力模块处理，获得数据各部分的关注度分布，随后带有注意力信息的数据经两层LSTM解码，提取出其中的时序信息，全连接网络层用于学习特征与动作类别的映射关系，预测每一样本属于每一类别的得分，Soft_max模块用于根据类别得分计算样本属于某一类别的可能性。