[发明专利]一种基于多特征融合的手指灵活检测方法

说明书

本发明公开的一种基于多特征融合的手指灵活性检测方法，首先利用置于手部运动垂直上方的RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频，然后再将视频提取成视频帧，经过OpenPose模型得到手部21个关节点的坐标，然后根据敲击键盘的时间序列得到手指敲击键盘前后瞬间的视频帧集合，然后计算手指运动的角度变化和角速度，然后计算正常人和有手部功能障碍人敲击键盘每个手指的准确率，最后将平均角速度和手指敲击键盘的准确率融合，通过SVM训练，判断并分类出手指灵活性较差的人群。本发明通过采集手部运动特征，得到手指灵活性检测模型，判断并分类出手指灵活性较差的人群，其分类的准确率在75％以上。

技术领域

本发明属于图像处理技术领域，涉及一种基于多特征融合的手指灵活性的检测方法。

背景技术

随着社会的快速发展，生活水平的不断提高，手部运动能力在生活中扮演着极其重要的角色，手部运动能力严重的影响着我们正常的学习和生活。手指灵活性的好坏是衡量人体手部运动能力、保证人体正常运动的生理机能的重要指标。除此之外，手部运动能力的好坏也是反映国民身体素质的重要指标。通常手部功能障碍是帕金森综合征或者中风等疾病的表现之一，尽管现在的康复训练可以帮助患者恢复手部功能，但是康复训练之后如何测试手指灵活性是一个很难攻克的难题。

评估手部运动能力一般分为观察法、量表测量法，其他方法以及基于计算机视觉的方法，其中观测方法其主观性比较强；量表测量法存在许多不确定性，受外界影响大，用打分评估手部功能，说服力不大；随着计算机硬件的发展许多研究人员将数据手套、传感器等专用设备与传统的量表和机器学习方法结合起来用于评估手部功能。它的缺点是需要专用设备，其费用之高。基于视觉的方法使用深度学习获取手部运动信息，不需要使用专用设备获取手部运动信息，以上的这些方法都都有一个共同的缺点就是只能提供手部功能的总体测量方法，而不能全面评估手指的灵活性。

不管是传统的方法还是利用计算机技术来进行评估手部运动能力，获取手部运动数据一般分为利用专用设备获取数据和利用图像处理技术来获取数据，专用设备费用昂贵，不易操作，容易受到设备的影响。但是随着图像处理技术和深度学习的发展，计算机视觉也可以用来获取部分手部运动数据，应用于手部运动迟缓评估。

发明的内容

本发明的目的是提供一种手指灵活性检测的方法，解决了现存方法中只能提供手指灵活性的总体测量方法的缺点。

本发明所采用的技术方案是，一种基于多特征融合的手指灵活性的检测方法，包括以下步骤：

步骤1、利用RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频；

步骤2、在手指运动的同时记录下手指敲击键盘的时间序列并根据时间序列得到手指敲击键盘前后瞬间的视频帧集合；

步骤3、将采集到的视频分别提取成图像，将提取的图像作为输入输入到OpenPose中得到手部关节的坐标点集合；

步骤4、根据步骤2和步骤3得到的结果，计算正常人和有手部功能障碍人的手部手指运动的角速度；

步骤5、计算正常人和有手部功能障碍人敲击键盘每个手指的准确率；

步骤6、将步骤4得到的角速度和步骤5得到的准确率融合，通过SVM训练，得到手指灵活性检测模型，判断并分别出手部功能障碍的人群；

本发明的特点还在于：

步骤2具体包括以下步骤：

步骤2.1、利用程序记录RGB相机拍摄视频开始的时间T_S和每个手指正确敲击键盘瞬间的时间序列T_I、T_M、T_R、T_L，并存储到MYSQL数据库中；