[发明专利]基于时空图的人体骨骼动作识别方法

说明书

本发明公开了一种基于时空图的人体骨骼动作识别方法，包括以下步骤：S1、获取骨骼数据，并对所述骨骼数据进行预处理，得到二阶数据信息；S2、将二阶数据信息输入多分支网络，得到骨骼数据提取信息；S3、将骨骼数据提取信息输入时空特征提取网络，得到骨骼数据的时空特征信息；S4、将骨骼数据的时空特征信息依次输入全局平均池化层和全连接层，得到置信度最高的动作，完成人体骨骼动作识别。本发明设计了时空图模块引入Transformer结构，可以更好捕捉若干帧内全局的时空关系，利用其注意力机制自适应的学习跨帧节点间关联性的强度，并且利用图卷积根据固定图结构捕捉局部的空间特征。两者信息相互补充，从而使得信息能够直接的跨时空交流。

技术领域

本发明属于计算视觉及深度识别技术领域，具体涉及基于时空图的人体骨骼动作识别方法。

背景技术

动作识别是计算机视觉领域的一个重要细分领域， 在智能安防、人机交互、视频检索分类、虚拟现实、视频监控等领域有着广阔的应用前景。 而基于骨骼数据的动作识别方法在复杂背景和动态场景下具有很强的鲁棒性， 因此受到了很大的关注。

早期基于骨骼数据的动作识别模型采用手工提取特征的方法。因为其效果不理想存在计算复杂度高、泛化能力弱等问题， 所以引入深度学习方法。目前基于深度学习的动作识别方法的研究已经成为主流。 而深度学习方法主要可以分为三类：基于卷积神经网(Convolutional Neural Network， CNN）、基于递归神经网络(Recurrent NeuralNetwork，RNN)和基于图神经网络(Graph Convolutional Network， GCN)。 基于CNN的方法将骨骼数据按照人工设计的规则构建为伪图像；基于RNN的方法是将骨骼数据构建为骨骼点坐标向量序列。 然而， 人体骨骼本身就是拓扑图结构，构建为伪图像和向量序列并不能充分表示出图结构的丰富信息，这些方法的缺点是都忽略了人体骨骼点间的内在依赖关系。基于GCN的方法能直接处理骨骼数据这类图结构信息，能充分发掘骨骼点间的内在依赖关系，因此基于GCN的方法成为当下该领域的研究热点。

发明内容

针对现有技术中的上述不足，本发明提供的基于时空图的人体骨骼动作识别方法解决了现有的人体骨骼动作识别方法无法使节点信息直接跨时空交流以至难以有效捕捉复杂动作的动态时空特征的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于时空图的人体骨骼动作识别方法，包括以下步骤：

S1、获取骨骼数据，并对所述骨骼数据进行预处理，得到二阶数据信息；

S2、将二阶数据信息输入多分支网络，得到骨骼数据提取信息；

S3、将骨骼数据提取信息输入时空特征提取网络，得到骨骼数据的时空特征信息；

S4、将骨骼数据的时空特征信息依次输入全局平均池化层和全连接层，得到置信度最高的动作，完成人体骨骼动作识别。

进一步地：所述步骤S1中，二阶数据信息包括节点位置信息、运动向量信息和骨骼信息；

所述步骤S1包括以下分步骤：

S11、通过人体姿态估计算法或深度摄像头获取骨骼数据，进而根据骨骼数据构建时空图；

S12、将时空图每帧中的节点位置信息减去其中心节点位置信息，得到节点相对位置信息；

S13、将时空图相邻两帧的节点位置信息相减，得到运动向量信息；

S14、将时空图每帧中相互连接的节点构成骨骼边，通过计算相连接的两节点位置得到骨骼边信息。

上述进一步方案的有益效果为：将骨骼数据处理成三种二阶数据信息有利于多分支网络提取骨骼数据的结构信息。

进一步地：所述步骤S11中，构建时空图的方法具体为：