[发明专利]一种基于图卷积神经网络的人体行为识别方法

说明书

本发明公开了一种基于图卷积神经网络的人体行为识别方法，本发明使用图卷积神经网络进行人体行为识别技术，从而更好的捕捉骨骼点之间的显式关系；在具体的图卷积操作中，使用行为特异图卷积模块，使得模型也可以更好的捕捉骨骼点之间的隐式关系，以捕捉其中的重要信息；为了捕捉时序信息，本技术采用门控时序一维卷积操作，过滤掉冗余及无关信息，保留其中的有用信息，以更好的建模动作的时序信息；在图卷积操作和一维卷积操作之后，均加入通道注意力模块，以建立通道维度的卷积，为不同的通道分配不同的权值，实现通道维度的注意力机制；通过行为门控特异图卷积模块的级联，以更好的提取数据中的信息，以达到较高的识别准确率。

技术领域

本发明属于人工智能领域，具体涉及一种基于图卷积神经网络的人体行为识别方法。

背景技术

目前智能机器人在工业生产、安保防护、特种作业等领域发挥着越来越重要的作用。人工智能和计算机视觉技术的发展也使得现在的智能机器人愈加智能化。人体行为识别技术可以使得智能机器人理解人类的手势、行为和指令，从而清楚人类的意图，更好的在生产生活中满足人类的需求，为将来更高阶段人机交互提供技术支持。

深度学习作为人工智能领域的一个分支，经过几十年的积累和近年来计算机硬件算力的进步，这些年迎来了蓬勃发展，促进诸多领域技术的进步。AlexNet、VGG和ResNet等深度学习网络的提出，使得图像识别分类等任务的准确度有了极大的飞跃，在工业界也有了很多的应用。而对于非欧式数据，由于传统的卷积神经网络的局限性，图卷积神经网络逐渐在这一类型的数据处理中扮演着越来越重要的角色。图卷积神经网络做为深度学习的一个分支也因此在近几年迅猛发展。其在基于骨骼点数据的人体行为识别任务中也取得了非常好的效果。

当前人体行为识别方法虽然近些年来发展迅速，取得了诸多成果，但是其准确度还是不够高，主要存在以下方面的不足：首先，视频中包含很多除了人体行为以外的冗余的无用信息，容易对识别造成干扰；其次，由于动作是一个序列的信息，所以如何获取人在时序上的变化信息，对行为识别有较大的影响，而又因为时序信息也有很多冗余信息，所以如何建模提取时序信息并且过滤其中的无用信息非常重要；以往虽然存在很多使用图卷积处理骨骼点数据的行为识别方法，但是很多的方法按照人体自然连接通过手工设计来形成邻接矩阵，以表述结点之间的关系，但是虽然很多结点在自然连接中虽然不存在，但对于特定动作来说，某些结点之间可能就存在隐含的关系，不包括这些隐含的关系信息会在数据处理的时候出现一些信息的缺失，从而影响最终的识别结果。

发明内容

本发明的目的在于克服上述不足，提供一种基于图卷积神经网络的人体行为识别方法，能够解决基于行为识别中获取隐含信息，更好的建模时序信息等信息，从而提高识别的准确率。

为了达到上述目的，本发明包括以下步骤：

步骤一，将采集到的视频数据拆分为图片帧；

步骤二，提取每帧图片中的人体姿态，形成人体骨骼点二维或者三维坐标数据；

步骤三，将所需时长的图片帧中的骨骼点坐标数据按照时间顺序叠加到一起，形成骨骼点坐标序列数据；

步骤四，骨骼点坐标序列数据使用图结构来表示，图结构包括邻接矩阵和特征矩阵，邻接矩阵包括人体关节自然连接方式，征矩阵则包含每个骨骼点的坐标信息；

步骤五，将邻接矩阵和特征矩阵输入到行为特异图卷积模块中，行为特异图卷积模块依照当前的特征数据对不同的动作序列生成行为特异邻接矩阵，并且将行为特异邻接矩阵与步骤四生成的邻接矩阵按照设定的比例相加，得到更新以后的邻接矩阵；

步骤六，使用门控时序一维卷积处理更新以后的邻接矩阵的时序信息，去除时序上的无用信息和冗余信息，保留其中有价值的信息；

步骤七，使用插入通道注意力模块的多层特异图卷积模块和门控时序卷积模块，并将最后得到的特征矩阵输入到全连接层，得到类别概率向量；