[发明专利]基于层次信息传递的图片人体动作识别方法

权利要求书

1.一种基于层次信息传递的图片人体动作识别方法，其特征在于，包括下述步骤：

S1、将人体分割为一个层次结构，该层次结构是自顶向下由粒度越来越细的局部身体区域构成，即将人体递归地分解为更小的身体部分；围绕这些身体部分，从图像中截取对应区域，利用卷积神经网络提取图像特征，具体为：

将人体层次分割标记为A＝{H_i}，i＝1，2，...，I，I是该人体层次分割的总层数，H_i表示第i层里身体部分的集合；由此可见，H₁包含最大的身体部分，因此也是层次人体分割A的根结点；H_i里的每个节点可被分解为更小的部分，由此构成H_i+1里的结点；因此H_I包含最小的身体部分；

S2、构建层次传播网络，递归地对步骤S1中层次结构的特征信息进行传递与整合，从而得到最终的动作描述子，具体为：

H_I中结点的信息传递到H_I-1中对应的父节点，形成位于该父节点位置的集成信息，这些集成信息又被传递至H_I-2中对应的父节点上，在这种递归模式下，底层的信息最终被传播并集成到H₁的根结点上，形成最终的动作描述子；

将H_i里的第j个结点标记为x_ij，将传递并集成于x_ij的信息标记为b(x_ij)，则有：

其中x_i+1，k表示H_i+1的第k个结点，S_ij用于保证H_i+1中结点的信息只传递给对应的父节点，即，k∈S_ij表示x_i+1，k是由x_ij分割出来的子结点，m_i+1表示H_i+1的聚合信息，K是H_i+1结点的个数，m_i+1使得同一层级不同身体部位的结点之间的联系被捕捉，u_ij，v_i+1，k与是模型的参数，分别用于结合来自当前的信息、来自其子结点的信息以及H_i+1的聚合信息，⊙表示对位乘法；

对于i＝I有b(x_Ij)＝u_Ij⊙x_Ij，至此所有b(x_ij)的递归定义完成了，每个结点都聚合了来自自身以及其子结点的信息，因此b(x₁₁)编码了整个人体层次分割的上下文信息并生成了该人体的动作描述子；

S3、将步骤S2得到的动作描述子与额外的全图信息结合，输入最后的全连接层进行分类。

2.根据权利要求1所述基于层次信息传递的图片人体动作识别方法，其特征在于，步骤S3具体为：

数据集的动作类别共有C个，则全连接层有C个输出，分别代表该图像在每个动作类别上的分类置信度，接着使用sigmoid函数来计算该置信度的概率分布，用二元交叉熵来计算分类损失，从而对网络进行训练，在识别过程中，将概率最高的那个动作类别作为图像的动作类别，从而得到动作识别的最终结果。

3.根据权利要求2所述基于层次信息传递的图片人体动作识别方法，其特征在于，所述步骤S3中，进行分类的公式如下：

S＝Θ^T(w_α⊙b(x₁₁)+w_β⊙f_I)，

其中S就是分类的置信度，w_α与w_β是可学习的模型参数，f_I是原图的CNN特征，Θ是全连接层的参数。