[发明专利]一种基于多流快慢图卷积网络的人体骨骼行为识别方法

权利要求书

1.一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，包括以下步骤：

步骤(1.1)、创建人体的骨骼序列行为数据库，使用姿态估计算法提取数据库内视频片段中每个人体的骨骼关节点；

将骨骼关节点的一阶坐标信息扩展至包括关节点空间差、关节点时间差和骨骼边的二阶信息，及包括骨骼边的空间差和骨骼边的时间差的三阶信息上，得到六种不同骨骼类型的骨骼序列数据；

对上述六种不同骨骼类型的骨骼序列数据进行校准，制作标签，从而获得人体骨骼行为数据集；

步骤(1.2)、构建多流快慢图卷积网络，所述的多流快慢图卷积网络由六路快慢图卷积网络组成；

其中，每一路快慢图卷积网络均由一个快网络、一个慢网络、侧向连接结构及注意力机制组成；

步骤(1.3)、对多流快慢图卷积网络进行训练，训练中的技巧包括随机梯度下降法训练策略，选择交叉熵作为反向传播梯度的损失函数；

步骤(1.4)、在行为类别的测试过程中，将人体骨骼序列数据输入到多流快慢图卷积网络中，得到该行为的分类结果。

2.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，步骤(1.1)中所述的骨骼关节点：是使用姿态估计算法提取视频行为数据集中每个视频帧中的人体骨骼关节点，并将其处理为维度为(N,C,T,V,M)的骨骼序列，

其中，所述N表示视频的数量，C表示关节的特征，T表示帧数，V表示关节的数量，M表示一帧图像中存在的人体数量。

3.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，在步骤(1.1)中，

所述骨骼边信息：指从其源关节指向目标关节的向量；

所述骨骼关节点或骨骼边的时间差信息：指骨骼序列中两个连续帧之间的骨骼关节点或是骨骼边的坐标差；

所述骨骼关节点或骨骼边的空间差信息：是指骨骼序列中骨骼关节点与中心骨骼关节点或是骨骼边与中心骨骼边之间的差。

4.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，步骤(1.2)中所述的快网络和慢网络分别输入的是使用不同采样策略的骨骼序列数据；

其中，输入快网络的是经过低帧率大间隔采样后的骨骼序列数据；

输入慢网络的是经过高帧率小间隔采样后的骨骼序列数据。

5.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，步骤(1.2)中快慢图卷积网络构建中的快网络和慢网络；其中，快网络的提取时间特征能力较强采用时空图卷积网络结构；慢网络采用提取空间特征能力较强的自适应图卷积网络结构。

6.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，步骤(1.2)中所述的注意力机制包括时间注意力、空间注意力和通道注意力。

7.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，步骤(1.4)中所述的测试过程是：将关节点、关节点空间差、关节点时间差、骨骼边、骨骼边空间差和骨骼边时间差的数据分别输入到六路快慢图卷积网络中得到各自的输出分数，后将输出分数进行加权求和多流快慢图卷积网络的最后得分，作为该人体骨骼序列的行为分类结果。