[发明专利]基于图卷积网络的细微动作识别方法

权利要求书

1.基于图卷积网络的细微动作识别方法，其特征在于，具体按照以下步骤实施：

步骤1、采集人体运动视频，将该视频估计包括骨骼特征的视频，结合骨骼特征数据库，从骨骼特征数据库中选取所有类动作的骨骼特征序列；

步骤2、对包括骨骼特征的视频行处理，得到多个关节对齐光流片序列；

步骤3、搭建图卷积网络；

步骤4、设计图卷积网络的损失函数；

步骤5、初始化图卷积网络中参数；

步骤6、分别将骨骼特征序列、关节对齐光流片序列作为输入，训练图卷积网络，得到训练好的图卷积网络；

步骤7、使用训练好的图卷积网络进行识别，得到未知细微动作类别信息。

2.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，步骤1具体为：采集人体运动视频，使用姿态估计算法根据人体运动视频估计得到包括骨骼特征的视频。

3.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，所述骨骼特征数据库中包括NTU RGB+D.数据集、NTU RGB+D 120数据集、Kinetics-Skeleton数据集。

4.根据权利要求2所述基于图卷积网络的细微动作识别方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1、对包括骨骼特征的视频按帧进行拆分，得到T帧图像；

步骤2.2、假设T帧图像中每帧图像有k个关节,以每个关节作为中心，通过裁剪得到k个长度为l的方形局部裁剪片

步骤2.3、将预估骨骼特征数据对应的方形局部裁剪片序列标记为

步骤2.4、取同一关节在相邻两帧图像为一对关节对，对标记后的裁剪片采用Lucas-Kanade方法估计每个连续关节对之间的光流片序列；

步骤2.5、对每个连续关节对之间的光流片序列进行零均值归一化，获得关节对齐的光流片序列；

步骤2.6、使用双线性插值函数对每个关节对齐的光流片进行下采样，将分辨率从l×l降低到μ×μ，得到(T-1)×k个尺寸为μ×μ的关节对齐光流片序列。

5.根据权利要求2所述基于图卷积网络的细微动作识别方法，其特征在于，步骤3所述图卷积网络结构为双支路GCN结构，第一GCN分支输入骨骼特征序列，第二个GCN分支输入关节对齐光流片序列。

6.根据权利要求5所述基于图卷积网络的细微动作识别方法，其特征在于，所述图卷积网络结构包括输入层、批量归一化层、九个级联的图卷积层、全局平均池化层、全连接层和Softmax输出层；

每个所述图卷积层包括三部分：1、注意力机制层，2、空间图卷积层，在空间维度上，即单帧内对每个重心点上，进行图卷积操作，卷积核大小为3；3、时间图卷积层，在时间维度上进行图卷积操作，卷积核大小为9。

7.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，步骤4所述损失函数为交叉熵损失函数：

其中y表示ground-truth类的one-hot标签向量，表示预测得分。

8.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，步骤5所述图卷积网络中参数包括训练遍历所有数据的次数epoch、每批次训练的样本数batch_size、学习率learning_rate，其中epoch设定为10-20之间的整数，batch_size设定为{8，16，32，64，128，256}中的一个，learning_rate初始学习率为0.01，每10个epochs后，学习率衰减0.1，共遍历全部样本60次。

9.根据权利要求5所述基于图卷积网络的细微动作识别方法，其特征在于，步骤6具体为：将每个骨骼特征序列作为一个三维矩阵(C,T,V)，C为关节特征也就是坐标，V为节点数量，每个骨骼特征序列输入至图卷积网络结构的第一GCN分支中；将关节对齐光流片序列进行下采样，将下采样得到的关节对齐光流片序列输入第二个GCN分支进行训练，得到训练好的图卷积网络。

10.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，步骤7具体为：根据待识别的人体动作视频获得该视频对应的骨骼特征序列和关节对齐的光流片序列；将两个序列分别输入训练好的模型中，通过线性混合来自两个GCN分支的预测分数来获得最终的类别预测分数，根据最终的类别预测分数确定细微动作。