[发明专利]一种基于多流快慢图卷积网络的人体骨骼行为识别方法

说明书

本发明公开了一种基于多流快慢图卷积网络的人体骨骼行为识别方法。本发明涉及图像识别技术领域，本发明将快慢网络的思想与图卷积网络相结合，快网络可以有效提取骨骼序列的时间信息，慢网络可以有效期提取骨骼序列的空间信息，侧向连接的方式加强了两路网络之间的信息交互。通过应用不同的注意力机制加强了时空特征的提取和整合。由于采样和降低通道数的做法也大幅减少了计算量。通过引入多流结构，进一步增强了空间上的信息提取能力，提高了基于骨骼关节点的行为识别方法的识别率和鲁棒性。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于多流快慢图卷积网络的人体骨骼序列行为识别方法。

背景技术

行为识别在智能视频监控，自动驾驶，人机交互，运动分析等许多应用起着重要作用。根据输入数据类型，行为识别可以大致分为两类：RGB图像序列和骨骼序列。对于RGB图像序列，通常使用空间外观和时间光流来对人体行为进行建模，但是，RGB图像序列中的人体外观易受光照、视角和背景等因素影响。骨骼序列是人体关节点在时间和空间上的集合，与RGB图像序列相比，具有数据量小，不易受干扰的优点。骨骼序列以及被验证可以有效地表征人体行为的动力学特征。同时，随着以微软Kinect为代表的深度摄像机的普及和以Openpose为代表的高性能姿态估计算法的出现使得获取人体骨骼序列信息越来越便捷，由此也极大地促进了基于骨骼序列的行为识别方法的研究。近年来，不少研究者使用图卷积网络，对人体骨骼序列进行时空建模，并基于上述特征成功地识别其包含的行为类别。在空间维度上，骨骼数据利用少数关节点可以精炼地表征人体的当前姿态；但是在时间维度上，骨骼数据依然存在着大量的冗余信息，相邻帧的骨骼数据相关性极高。如何在消除骨骼序列时间维度上的冗余信息，并充分利用空间信息是目前基于骨骼序列行为识别的一个难题。

发明内容

针对上述问题，本发明提供了一种基于多流快慢图卷积网络的人体骨骼序列行为识别方法，该方法通过对采样率不同的骨骼序列使用两种不同的图卷积模型作为快慢两路，分别提取时间特征和空间特征，从而大幅减少计算量的前提下，获取较传统图卷积方法更优的时空特征提取能力，来对骨骼序列进行行为识别。

本发明的技术方案是：一种基于多流快慢图卷积网络的人体骨骼行为识别方法，包括以下步骤：

步骤(1.1)、创建人体的骨骼序列行为数据库，使用姿态估计算法提取数据库内视频片段中每个人体的骨骼关节点；

将骨骼关节点的一阶坐标信息扩展至包括关节点空间差、关节点时间差和骨骼边的二阶信息，及包括骨骼边的空间差和骨骼边的时间差的三阶信息上，得到六种不同骨骼类型的骨骼序列数据；

对上述六种不同骨骼类型的骨骼序列数据进行校准，制作标签，从而获得人体骨骼行为数据集；

步骤(1.2)、构建多流快慢图卷积网络，所述的多流快慢图卷积网络由六路快慢图卷积网络组成；

其中，每一路快慢图卷积网络均由一个快网络、一个慢网络、侧向连接结构及注意力机制组成；

步骤(1.3)、对多流快慢图卷积网络进行训练，训练中的技巧包括随机梯度下降法训练策略，选择交叉熵作为反向传播梯度的损失函数；

步骤(1.4)、在行为类别的测试过程中，将人体骨骼序列数据输入到多流快慢图卷积网络中，得到该行为的分类结果。

进一步的，步骤(1.1)中所述的骨骼关节点：是使用姿态估计算法提取视频行为数据集中每个视频帧中的人体骨骼关节点，并将其处理为维度为(N,C,T,V,M)的骨骼序列，

其中，所述N表示视频的数量，C表示关节的特征，T表示帧数，V表示关节的数量，M表示一帧图像中存在的人体数量。

进一步的，在步骤(1.1)中，

所述骨骼边信息：指从其源关节指向目标关节的向量；