[发明专利]一种基于视觉追踪控制的肢体康复训练与评估系统

权利要求书

1.一种基于视觉追踪控制的肢体康复训练与评估系统，其特征在于，包括：

图像采集单元，用于采集用户的受训练肢体的运动图像数据；

头戴式显示与控制模块，用于为用户提供人机交互操作界面，并通过识别用户的眼部动作生成相应的控制指令；

康复器具，用于对用户的肢体进行康复运动训练，其具有主动训练模式、被动训练模式以及跟随训练模式三种工作模式，其中被动训练模式以及跟随训练模式下均有助力电机带动转轴运动，主动训练模式下助力电机默认不启动；所述康复器具能够接收来自头戴式显示与控制模块的控制指令选择各类模式；所述康复器具在与肢体接触的部位设置有压力传感器，用于采集肢体与康复器具之间的压力数据；

监测与评估模块，与图像采集单元、康复器具和头戴式显示与控制模块进行通讯连接；主动训练模式下，监测与评估模块通过处理图像采集单元采集的深度图像数据，获得用户的肢体骨架关键节点运动数据，并根据肢体骨架关键节点运动数据对肢体运动效果进行分析评估；跟随训练模式下，监测与评估模块通过处理康复器具的压力传感器采集的压力数据进行训练效果的分析；监测与评估模块得到的分析评估结果会发送给头戴式显示与控制模块反馈给用户；

监测与评估模块内设置有骨架提取单元及分析评估单元；所述骨架提取单元，用于提取用户肢体骨架关键节点的三维数据信息：首先通过训练好的机器学习模型识别出各台深度相机对用户的肢体骨架关键节点，再根据4台深度相机之间的三维变换矩阵，将各深度相机识别的肢体骨架进行对齐融合，从而得到最终的受试者肢体骨架关键节点的三维数据；所述分析评估单元，用于对主动训练模式及跟随训练模式的用户肢体运动训练效果进行评估；

骨架提取单元的人体运动识别模型的构建步骤如下：

S1：成矩阵布置好深度相机组的4台深度相机，通过4台深度相机同时采集多位受试者时间序列的深度图像数据，将采集的数据发送给计算机端进行处理；

S2：根据上述获得的受试者的深度图像数据，构建好每台深度相机的人体各关键点部位的人体姿态估计模型；

S3：对4台深度相机进行标定，确定4台深度相机的三维变换矩阵；

在上述方案中，步骤S2中，采用OpenPose模型进行人体对象的关键点识别，具体步骤为：

S2.1：对相机组采集到的深度图像数据采用深度图像分隔策略，分隔前后景图像，确定每个受试者的人体轮廓区域，将各像素点分类，识别分离出人体的各关键节点部位信息，提取人体各关键节点部位的深度特征信息，以用于训练人体不同关键节点部位特征的分类器，区分人体关键节点部位特征公式为：

其中，x为深度图像素点的像素值，d_l(x)是x像素值在深度图像t中的深度值，θ＝(σ，δ)是镜头偏移向量，1/d_l(x)为处理人体尺寸缩放，t用作标记图像；

S2.2：搭建每台深度相机的OpenPose模型

人体关键点识别通过实时2D姿态估计算法进行分析，得到每个相机视角下受试者的2D运动姿态信息其中，实时2D姿态估计算法采用OpenPose算法，对于每一个图像帧，OpenPose算法计算输出以下信息：其中代表第v台相机中第i个关键点的横坐标、纵坐标，代表第v台相机中第i个关键点和与第i个关键点相邻的第e个关键点的连接概率，为OpenPose算法中的PAF分数，通过部署每台相机的OpenPose模型得到原始人体骨骼图像，其中关键点的序号与其位置是唯一对应的；

所述的人体关键节点部位为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝；

步骤S3中，让一名受试者进入4台深度相机中间的采集区，根据每台相机搭建好的OpenPose模型对此受试者进行人体骨骼关键点获取，受试者的三个关键节点i₁、i₂和i₃作为人体的基准点集，计算4台深度相机的三维变换矩阵，即旋转和平移矩阵；选取一台相机中获取的较为完整人体骨骼序列作为基准骨架，即L_B，同时定义其他相机中获取的三个骨架序列分别为L₁、L₂和L₃，分别求L₁、L₂和L₃相对于L_B的旋转矩阵和平移矩阵，利用变换矩阵将L₁、L₂和L₃三个骨架序列变换到L_B所在坐标系下；利用三维刚性变换来求解变换矩阵，计算L_K(k＝1,2,3)所取点集{i₁ i₂ i₃}的中心点P_LK和L_B所取点集{i₁ i₂ i₃}的中心点P_LB，计算公式为：

再将L_K与L_B原有点集重新中心化，计算式为：

计算协方差矩阵通过支持向量机对协方差矩阵C进行分解，求得旋转矩阵R和平移矩阵T，得到相机之间的变换矩阵，计算式为：

完成标定后，将由OpenPose算法得到的二维关键点坐标与深度相机获得的深度数据融合获得三维关键点空间坐标。