[发明专利]一种基于指令视频的帕金森非接触式智能检测方法

权利要求书

1.一种基于指令视频的帕金森非接触式智能检测方法，其特征在于，包括：

获取帕金森患者与非患者的指令式视频数据集；

构建人脸模型，标定关键点；

根据所述人脸模型的眼部关键点，确定眼部特征向量；

根据所述人脸模型的嘴部关键点，确定嘴部特征向量；

构建融合网络模型；

根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；

根据所述最优模型，确定帕金森患者。

2.根据权利要求1所述的基于指令视频的帕金森非接触式智能检测方法，其特征在于，所述构建人脸模型，标定关键点，具体包括：

基于dlib库提供的人脸识别以及关键点标定的多任务接口，首先对受试者指令视频按帧提取68个人脸关键点。提取68个关键点中6个左眼链接关键点，6个右眼链接关键点及21个嘴部链接关键点，作为提取特征的主要目标点。

3.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述人脸模型的眼部关键点，确定眼部特征向量，具体包括：

为描述某一时刻眼睑的张合情况，定义一种基于上下眼睑距离与内外眼角距离的眼睑张合率eye_ratio的计算方法，即根据结合上下眼睑2个关键点的欧式距离以及内外眼角两个关键点的欧式距离，通过与剩余关键点的欧式距离作比，计算眼睑的张合率。

提取指令视频中所有帧的眼睑张合率eye_ratio以及帧与帧之间的眼角张合率差Δeye_ratio，并基于pandas提供的7种统计接口计算出维数为14的眼部特征向量。

4.根据权利要求1所述的基于指令视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述人脸模型的嘴部关键点，确定嘴部特征向量，具体包括：

定义左侧嘴角关键点p[0]右侧嘴角关键点p[4]与水平轴夹角为α，定义左侧嘴角关键点p[i]与其余关键点p[j]为β(p[i]，p[j])，由α与β(p[i]，p[j])求和计算嘴巴补偿角θ(p[i]，p[j])，依次求得θ(p[0]，p[1])、θ(p[0]，p[1])、θ(p[1]，p[2])...θ(p[6]，p[7])、θ(p[7]，p[0])8个嘴部特征向量。

由上侧关键点与下侧关键点的相对距离Eudis(p[2]，p[6])对比左侧关键点与右侧关键点的相对距离Eudis(p[0]，p[4])，计算嘴唇张合率mth_ratio。

5.根据权利要求1所述的基于指令视频的帕金森非接触式智能检测方法，其特征在于，所述构建融合网络模型，具体包括：

构建由特征融合阶段和全连接阶段组成的融合网络模型，所述特征融合阶段包括输入层和输出层，所述融合全连接阶段包括输入层、第一隐藏层、第二隐藏层和输出层。

6.根据权利要求1所述的基于指令视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型，具体包括：

设置惩罚因子C，该参数代表分类器对于“松弛变量”的容错性，即对于误分类的“容忍度”，选用核函数kernal默认的′rbf′。

基于上述提取的特征及skrlearn.svm模块提供的SVC方法训练不同的模型后选取最优模型。通过交叉验证手段，通过交叉验证手段，将数据集D划分为f个大小相似的互斥子集，对于每个子集D_i用于测试时，其它的1/f数据用于训练模型，得到该子集D_i测试下的测试结果r_i，对所有r取平均得该在f倍交叉验证下的测试结果，比较不同参数C(k)对应f_b倍交叉验证的测试结果r_bk，选取当前数据样本下的最优模型。

7.一种基于指令视频的帕金森非接触式智能检测系统，其特征在于，包括：

数据集获取模块，用于获取帕金森患者和非帕金森患者的音视频数据集；

人脸模型构建模块，用于构建人脸模型，并标记关键点；

眼部特征向量确定模块，用于根据所述人脸模型的眼部关键点，确定眼部特征向量；

嘴部特征向量确定模块，用于根据所述人脸模型的嘴部关键点，确定嘴部特征向量；

融合网络模型构建模块，用于构建融合网络模型；

最优模型训练模块，用于所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；

帕金森患者确定模块，用于根据所述最优模型，确定帕金森患者。