[发明专利]一种基于自适应图卷积神经网络的动作识别方法和装置

权利要求书

1.一种基于自适应图卷积神经网络的动作识别方法，其特征在于，所述动作识别方法包括：

S1，获取待识别人体动作类型的视频流数据，采用已有的姿态估计算法，对导入的视频流数据进行处理，得到人体骨架类型数据和人体骨骼图形，生成同时得到每个关键节点的坐标及其置信度特征，生成人体骨骼数据集；

S2，计算人体运动过程中骨骼围绕关键节点转动时角动量发生的变化，将相邻骨骼边之间的角度这一变量作为深层次的空间特征；

S3，提取人体动作持续时间内的能量信息，将骨骼围绕关键节点转动产生的角度差累加得到在动作持续时间内角度变化的总和，采用每个关键节点对应的角度差累加之和除以当前动作的关键帧数，计算得到每个关键节点的平均能量变化值，将其作为深层次的时间特征；

S4，构建双流图卷积神经网络，其中，关节数据和骨骼数据分别作为J流和B流的输入数据，预测动作标签作为输出数据；

S5，对双流图卷积神经网络进行扩展，并联2个新增子网络，搭建动作识别模型，新增子网络分别用于对空间特征和时间特征进行处理的子网络；该动作识别模型用于同时对关节数据、骨骼数据、深层次的空间特征和深层次的时间特征进行处理，计算得到对应的动作类型；

步骤S2中，所述计算人体运动过程中骨骼围绕关键节点转动时角动量发生的变化，将相邻骨骼边之间的角度这一变量作为深层次的空间特征的过程包括以下步骤：

S21，根据人体骨骼数据集中每个关键节点的坐标以及其物理连接，计算所有相邻骨骼之间的角度；其中，当节点的度为1时，即节点只有一条边，不计算角度；当节点的度为2时，即一个节点连接两条边，计算一个小于180°的角度；当节点的度为3时，即一个节点连接3条边，则计算3个角度；当节点的度为4时，计算4个角度；

S22，针对整个动作持续时间内的n个关键帧中的所有角度，将计算得到的角度按照关键节点和视频帧的顺序组合成矩阵的形式，扩展得到的角度矩阵为：

式中，m是角度总数，是第i个角度在第j个关键帧中的取值，i＝1，2，...，m，j＝1，2，...，n；

S23，用后一帧任意一个关键点的角度减去前一帧对应关键点的相应角度，得到相邻帧之间同一个节点周围边形成的角度差；计算相邻帧之间以同一个节点为中心点，其周围骨骼所形成的角度差矩阵Δθ：

式中，是第m个角度在第n-1个关键帧中的取值。

2.根据权利要求1所述的基于自适应图卷积神经网络的动作识别方法，其特征在于，步骤S3中，所述提取人体动作持续时间内的能量信息，将骨骼围绕关键节点转动产生的角度差累加得到在动作持续时间内角度变化的总和，采用每个关键节点对应的角度差累加之和除以当前动作的关键帧数，计算得到每个关键节点的平均能量变化值，将其作为深层次的时间特征的过程包括以下步骤：

S31，将计算得到的角度差矩阵Δθ，按照时间顺序累加求和，得到每一个节点上的角度变化总和θ_I，θ_I的表达形式如下所示：

其中，下标“1～m-1”表示关键节点的标号，上标中的“1～n-1”代表关键帧，组成一个1×(m-1)的能量矩阵θ_I；

S32，将步骤S31中得到的θ_I除以当前动作的帧数，得到当前动作的平均能量θ_a，其中n为姿态估计算法提取出来的关键帧数。