[发明专利]帕金森病步态运动障碍严重程度的评估方法、系统及设备

权利要求书

1.一种帕金森病步态运动障碍严重程度的自动评估方法，其特征在于，包括：

获取帕金森病患者的步态视频；

对所述步态视频的数据进行处理，并将其划分成训练集和测试集，以对神经网络模型进行训练和测试；对所述步态视频的数据进行处理的步骤包括：

从所述步态视频的每一帧图像中分别提取人体关键点的坐标；

根据所述人体关键点的坐标构建基于关节点的空间时间图和基于骨骼的空间时间图；其中，所述基于关节点的空间时间图表示为J＝(v,ε)，节点集包含每一帧图像中的N个关节点，边集包含空间上每一帧图像中人体自然连接的关节组成的边集合以及时间维度上的边集合，后者ε_p＝{v_tiv_(t+1)i|t＝1,…,T-1}的意义为连续帧中的相同关节进行连接所构成的边集，T为正整数；所述基于骨骼的空间时间图表示为B＝(v*,ε*)，节点集v*包含每一帧图像中的N个骨骼向量形成的节点，边集ε*包含空间上每一帧图像中人体自然连接的节点组成的边集合以及时间上连续帧中的相同节点进行连接所构成的边集；所述神经网络模型采用双流空间时间图卷积模型ST-GCN，用以得到基于关节点的空间时间图的各类评估分数的概率值及基于骨骼的空间时间图的各类评估分数的概率值；其中，所述双流空间时间图卷积模型的每个ST-GCN单元中的空间图卷积操作的实现公式为：

其中，每个ST-GCN单元的输入特征为输入特征的通道数为C_in，T为帧数，N为关节点数；经过空间图卷积操作后的输出特征为输出特征的通道数为C_out；骨架序列中每帧的体内关节的邻接矩阵为A+I，由人体关节自然连接所形成的邻接矩阵A和表示自连接的单位矩阵I表示；M为可学习的边的权重矩阵；Dⁱⁱ＝∑_j(A^ij+I^ij)为度矩阵，用于邻接矩阵的归一化操作，W是通过卷积操作实现的图结构的权重函数，用以提升输入特征的通道维度；所述双流空间时间图卷积模型中的两个ST-GCN单元还连接有空间时间注意力感知模块，用以利用空间时间信息选择空间时间维度下的判别性特征区域；其中，所述空间时间注意力感知模块中空间时间注意力感知系数矩阵α的实现公式为：

α＝δ₂(θ₃(δ₁(θ₁(f_{att_in})+θ₂(E))))

其中，f_{att_in}为注意力感知模块的输入低层特征，E为引导空间时间注意力的高层特征，三个线性变换θ₁、θ₂、θ₃函数都是通过基于通道的卷积操作来实现的，δ₁(x)采用线性整流函数ReLU，δ₂(x)为α的归一化函数，如下所示：

其中，α_min为矩阵中的最小值，T_x、V_x分别为矩阵的时间、空间维度；

此外，所述空间时间注意力感知模块在前向或后向传播过程中都会自动过滤不相关的特征激活，来自非判别性特征区域的梯度在后向传播过程中会逐渐被降低权重，使得较浅层的模型参数基于由所述空间时间注意力感知模块感知的与分类任务相关的判别性时空区域进行更新；利用所述神经网络模型对待评估的帕金森病患者的步态视频进行分析，以得到所述待评估的帕金森病患者的步态运动障碍严重程度的评估结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

采用多尺度时空注意力感知机制来学习多尺度下的不同的空间时间注意力感知系数；

在所述多尺度时空注意力感知机制下，每个所述空间时间注意力感知模块的输出均由输入特征激活图与空间时间注意力感知系数矩阵α相乘得到；

在每个尺度下的空间时间注意力感知模块中，通过高层显著性图E过滤、融合和感知时空判别性特征信息以生成该尺度下空间时间注意力感知模块的输出。