[发明专利]一种基于多特征融合的手指灵活检测方法

权利要求书

1.一种基于多特征融合的手指灵活性的检测方法，其特征在于，包括以下步骤：

步骤1、利用RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频；

步骤2、在手指运动的同时记录下手指敲击键盘的时间序列并根据时间序列得到手指敲击键盘前后瞬间的视频帧集合；

步骤3、将采集到的视频分别提取成图像，将提取的图像作为输入数据输入到OpenPose中得到手部关节的坐标点集合；

步骤4、根据步骤2和步骤3得到的结果，计算正常人和有手部功能障碍人的手部手指运动的角速度；

步骤5、计算正常人和有手部功能障碍人敲击键盘每个手指的准确率；

步骤6、将步骤4得到的角速度和步骤5得到的准确率融合，通过SVM训练，得到手指灵活性检测模型，判断并分别出手部功能障碍的人群。

2.根据权利要求1所述一种基于多特征融合的手指灵活性的检测方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1、利用程序记录RGB相机拍摄视频开始的时间T_S和食指、中指、无名指、小指正确敲击键盘瞬间的时间序列T_I、T_M、T_R、T_L，并存储到MYSQL数据库中；

步骤2.2、利用公式T_span＝T_I-T_S计算四个手指所对应的时间间隔；

步骤2.3、计算每个视频帧相对于第一帧所对应的的时间间隔

步骤2.4、根据判断和T_span是否相等，若相等，则将所对应的视频帧加入到视频帧集合I中；

步骤2.5、根据步骤2.4的方法求出食指、中指、无名指、小指敲击键盘瞬间的视频帧序列集合I_I、I_M、I_R、I_L；

步骤2.6、根据步骤2.5得到的视频帧集合，从提取的视频帧集合I_C中得到视频帧I_i中每一帧所对应的前n帧,基于帧间差分的平均强度最大值的方法的到差分结果最大的视频帧，作为敲击键盘瞬间的前一时刻的视频帧；

步骤2.7、重复步骤2.6得到食指、中指、无名指、小指的敲击键盘瞬间的前一时刻的视频帧I_IPro、I_MPro、I_RPro、I_LPro。

3.根据权利要求1所述一种基于多特征融合的手指灵活性的检测方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1、将所有拍摄的视频提取成视频帧集合I_C；

步骤3.2、将视频帧集合I_C输入到OpenPose中得到I_C中每一帧的手部关节点坐标，得到一个坐标点集合C。

4.根据权利要求1所述一种基于多特征融合的手指灵活性的检测方法，其特征在于，所述步骤4具体包括以下步骤：

步骤4.1、根据I_I、I_IPro以及食指关节标记从集合C中得到食指关节的坐标点，并存在Excel中；

步骤4.2、重复步骤4.1得到中指、无名指、小指的坐标点；

步骤4.3、根据如下公式计算食指运动前后的角度变化；

其中θ为角度变化，(x₁,y₁)、(x₃,y₃)为掌指骨关节的坐标，(x₂,y₂)、(x₄,y₄)为远端指骨关节坐标，π为圆周率；

步骤4.4、重复步骤4.3计算其他三个手指运动前后的角度变化；

步骤4.5、根据以下公式计算食指运动的角速度；

其中ω为角速度，θ为角度变化,i∈I_IPro、j∈I_I；

步骤4.6、重复步骤4.5计算其他三个手指的角速度；

步骤4.7、计算食指、中指、无名指、小指角速度的平均值。