[发明专利]一种基于图卷积网络的人体行为识别方法及系统

权利要求书

1.一种基于图卷积网络的人体行为识别方法，其特征在于，包括以下步骤：

S1，从包含人体行为的图像中提取人体骨架信息，获取人体关节点位置信息序列，以各关节点为节点，以关节点之间的骨骼为边，构建人体骨架的任意长度拓扑图序列；

S2，通过基于拓扑可学习图卷积的时空图卷积网络对拓扑图序列进行特征提取和拓扑结构的自适应演化，得到融合局部时空特征的节点新特征和具有新拓扑结构的拓扑图序列；

S3，通过图卷积长短期记忆神经网络对新拓扑图序列进行特征提取，得到具有长时时空特征的拓扑图序列；

S4，利用全局池化操作对拓扑图序列的特征进行进一步融合，得到全局时空特征；

S5，利用分类器基于全局时空特征进行人体行为识别；

所述步骤S2，具体为：

S21，基于拓扑可学习图卷积的时空图卷积网络有多个图卷积块，对每个图卷积块分别进行空域特征、时域特征学习，得到融合局部时空特征的节点特征向量；

空域特征学习：利用节点特征学习函数学习空域特征，得到融合局部空域特征的节点特征向量，如式(1-2)所示：

其中，W是节点特征学习参数矩阵，是节点v_i的特征向量的第m维特征，节点v_i为拓扑图中的第i个节点，W_m表示矩阵W的第m维，表示节点v_i所对应的特征向量，即节点对应的数据结构中存储的内容，M表示向量或矩阵对应的维度；利用批量标准化函数对学习的空域特征进行归一化，最后利用线性整流激活函数处理特征；

时域特征学习：利用时域卷积函数学习时域特征，然后利用批量标准化函数对学习的时域特征进行归一化；

S22，在空域特征学习后，通过节点融合函数GFusion(·)对空域特征向量进行融合得到新边集的连接权重；GFusion(·)使用具有特定初始化的拓扑可学习融合权重和节点特征间的矩阵乘法来实现，如式(1-3)所示：

其中，L表示拓扑可学习融合参数矩阵，为节点v_i的特征向量，L_ij是节点v_i和v_j之间可学习的融合权重，融合权重通过归一化邻接矩阵或全0矩阵进行初始化，v_j是拓扑图中除节点v_i外的所有节点，“⊙”表示两个矩阵的元素乘积，表示节点v_j的特征向量，拓扑可学习融合参数矩阵L是自适应的，利用卷积核大小为1×1的二维卷积或矩阵乘法实现；

S23，将融合局部时空特征的节点特征向量、新边集的连接权重代入式(1-1)得到具有新拓扑结构的拓扑图序列；

所述具有新拓扑结构的拓扑图空域边集的确定：当第t帧的节点v_ti和节点v_tj之间的融合权重不为0时，表示节点v_ti和节点v_tj之间具有空间关系，形成一条新的边；

所述步骤S4，具体按照以下步骤进行：

S41，首先对每个时刻的所有节点特征进行均值池化操作，得到每个时刻的特征向量，如式(1-6)所示：

其中，F_vt为长时时空特征，F_t为t时刻融合后的特征向量，GPooling()为节点特征均值池化函数，表示对每一时刻特征图的所有节点进行均值池化操作，得到每一时刻的特征向量；

S42，利用时域均值全局池化操作对每个时刻的特征向量进行聚合，得到全局时空特征，如式(1-7)所示：

其中，F_t为t时刻的特征向量，F为融合得到的全局时空特征，TPooling()是时域均值全局池化函数，对全部时刻的特征向量进行池化，得到全局时空特征；

所述步骤S1中，人体骨架的拓扑图序列由多个拓扑图结构组成，拓扑图结构用式(1-1)表示；

G＝(V，E)＝(f_v，w_E) (1-1)

其中，G为人体骨架的拓扑图结构，节点集V＝{v_ti|t＝1，...，T，i＝1，...，N}表示人体关节，T为序列的帧数，N为关节的个数，节点集V包括了每一时刻骨架序列中的所有节点；边集E由空域和时域两个边集组成，空域中的边集E_S＝{v_tiv_tj|(i，j)∈H}，表示第t帧节点i和节点j的边，其中H为人体关节自然连接的集合；时域中的边集E_T＝{v_tiv_(t+1)i}，表示同一个节点在前后帧之间的连接；f_v表示节点的特征向量，w_E表示边的连接权重。