[发明专利]基于无监督图序列预测编码的动作识别方法及存储介质

说明书

本发明涉及一种基于无监督图序列预测编码的动作识别方法及存储介质，其中，动作识别方法，包括模型的训练与使用，用于识别骨骼序列中的人体所进行的各种动作，旨在解决现有动作识别方法高度依赖大量的有标注数据，在仅有少量标注的情况下精度较低与现有无监督方法过拟合没有利用图的拓扑信息及严重泛化能力较差的问题。本系统方法包括对骨骼序列数据的视角不变变换、重采样与块级骨骼图数据增强；时空图卷积骨骼序列块嵌入表示提取；图卷积循环神经网络聚合上下文特征；预测编码构造正、负样本对；通过预训练模型提取特征利用分类器得到待识别骨骼序列对应的动作类别。与现有技术相比，本发明具有训练难度低、识别精度高、性能优异等优点。

技术领域

本发明涉及动作识别技术领域，尤其是涉及一种基于无监督图序列预测编码的动作识别方法及存储介质。

背景技术

在计算机视觉任务中，动作识别是现在备受关注的热点问题。无人驾驶机器人、智慧城市、智能交通等领域都需要对人体的行为进行分析识别。近年来，随着图卷积被越来越多的研究者重视与利用，位姿估计算法和深度传感器的发展，以及骨架数据的鲁棒性与去视觉特征专注于动作本身的特点，利用骨架数据的动作识别成为了目前研究的热点。

早期的动作识别主要基于静态图片。近年来，随着研究的深入，越来越多的研究人员对动作的动态本质给予了更多的关注，因此将注意力转向基于视频的动作识别。基于视频的动作识别相比于基于静态图片的方法最显著的不同是增加了时间维度，数据变成了2D图片的时间序列。但时间维度提供丰富的特征的同时，也带来了巨大的挑战——算力与存储空间的增加。基于骨骼的动作识别减轻了动作识别算法的计算需求，但大多数方法都是基于有监督的任务，高度依赖于数据集样本的数量与质量。由于动作的高度的类间相似性，准确地标注足够的数据来训练深度学习模型是一件具有挑战性、代价巨大的问题，因此迫切需要研究人员找到一种健壮的、无标签的方法来学习动作识别的表示更好地利用时间和空间信息。现有的无监督工作试图解决使用编码器的潜在嵌入来绘制或重建骨架序列的借口任务。然而，这些编解码器模型通常将空间通道展平为单一的特征向量，忽略了骨架图的空间关系。并且这些借口任务通常存在过拟合的问题，并且在下游任务中并不总是有帮助。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种训练难度低、识别精度高、性能优异的基于无监督图序列预测编码的动作识别方法及存储介质。

本发明的目的可以通过以下技术方案来实现：

一种基于无监督图序列预测编码的动作识别方法，所述的动作识别方法包括：

步骤1：获取骨骼数据序列，并对数据序列进行预处理，获得输入训练数据块；

步骤2：将输入训练数据块输入时空图卷积网络f(·)，获得序列骨骼图块的嵌入表示，并将其输入到循环神经网络g(·)，聚合上下文信息；

步骤3：根据上下文信息，通过预测网络Φ(·)预测下一序列的骨骼图块嵌入表示，预测得到的嵌入表示也输入进循环神经网络g(·)中，得到新的上下文表示，重复若干次得到一系列预测的图嵌入表示；

步骤4：将得到的预测图嵌入表示与真实图嵌入表示进行比较，通过对比损失函数反向传导优化上述时空图卷积网络f(·)、图卷积循环神经网络g(·)与预测网络Φ(·)，经过若干次迭代，得到预训练模型；

步骤5：根据得到的预训练模型去掉预测网络Φ(·)，将时空图卷积网络f(·)与循环神经网络g(·)部分作为特征提取器，在其上层添加分类器，再经过输入有标签数据的训练，得到最终分类模型；

步骤6：获取待检测的骨骼数据序列，并对其进行预处理，获得输入预测数据块；

步骤7：将输入预测数据块输入分类模型，对需要进行识别的人的各类动作概率进行预测，完成动作识别。

优选地，所述的步骤1具体为：