[发明专利]一种基于图卷积网络的人体行为识别方法及系统

说明书

本发明公开了一种基于图卷积网络的人体行为识别方法及系统，识别方法包括：从包含人体行为的图像中提取人体骨架信息，获取人体关节点位置信息序列，构建人体骨架的任意长度拓扑图序列；通过基于拓扑可学习图卷积的时空图卷积网络对拓扑图序列进行特征提取和拓扑结构的自适应演化，得到融合局部时空特征的节点新特征和具有新拓扑结构的拓扑图序列；通过图卷积长短期记忆神经网络进行特征提取；利用全局池化操作得到全局时空特征；通过分类器基于全局时空特征进行人体行为识别。本发明直接学习整个图的特征，将图卷积中的权重矩阵扩大到整个拓扑图结构，学习图中任意两节点之间的关系，而不受拓扑结构的限制，识别准确率高。

技术领域

本发明属于人工智能技术领域，涉及一种基于图卷积网络的人体行为识别方法及系统，可用于拓扑图序列的动作识别。

背景技术

卷积神经网络在许多领域取得了巨大成果，但其依赖于数据表征具有网格结构。然而许多领域的数据并非网格结构，这些不规则域的数据通常表现为拓扑图结构，这使得卷积神经网络难以在图域上推广。近年来在图域上推广卷积结构已经取得一定进展，在具有不同数量邻接节点的子图之间维持卷积的共享权重是卷积网络在网格数据领域取得成果的重要特性，为了使图卷积保持这一特性，通常通过在每个节点上定义转移矩阵和为节点的度定义权重矩阵使得图卷积可以在不同拓扑子图上进行学习，并根据时空图节点的领域子集个数，设计对应的空间划分规则及确定使用的规则。已有的自适应图卷积只能学习相邻节点间的拓扑自适应关系，对距离较远的节点之间的关系学习能力不足。此外，由于图卷积中转移矩阵的限制，往往对拓扑图序列之间的长期时间关系缺乏有效的建模。

拓扑图数据的拓扑结构通常在网络的所有层上都是固定的，但自然的拓扑结构不一定是最优的，因此，具有学习任意拓扑结构能力的图卷积网络对卷积神经网络在拓扑结构数据领域具有重大意义。

发明内容

为了解决上述问题，本发明提供一种基于图卷积网络的人体行为识别方法，直接学习整个图的特征，将图卷积中的权重矩阵扩大到整个拓扑图结构，学习图中任意两节点之间的关系，而不受拓扑结构的限制，识别准确率高；同时引入循环神经网络，对拓扑图序列的长期时间关系进行建模，解决了现有技术中存在的问题。

本发明的另一目的是，提供一种基于图卷积网络的人体行为识别方法系统。

本发明所采用的技术方案是，一种基于图卷积网络的人体行为识别方法，包括以下步骤：

S1，从包含人体行为的图像中提取人体骨架信息，获取人体关节点位置信息序列，以各关节点为节点，以关节点之间的骨骼为边，构建人体骨架的任意长度拓扑图序列；

S2，通过基于拓扑可学习图卷积的时空图卷积网络对拓扑图序列进行特征提取和拓扑结构的自适应演化，得到融合局部时空特征的节点新特征和具有新拓扑结构的拓扑图序列；

S3，通过图卷积长短期记忆神经网络对新拓扑图序列进行特征提取，得到具有长时时空特征的拓扑图序列；

S4，利用全局池化操作对拓扑图序列的特征进行进一步融合，得到全局时空特征；

S5，利用分类器基于全局时空特征进行人体行为识别。

进一步的，所述步骤S1中，人体骨架的拓扑图序列由多个拓扑图结构组成，拓扑图结构用式(1-1)表示；

G＝(V,E)＝(f_v,w_E) (1-1)