[发明专利]基于无监督图序列预测编码的动作识别方法及存储介质

权利要求书

1.一种基于无监督图序列预测编码的动作识别方法，其特征在于，所述的动作识别方法包括：

步骤1：获取骨骼数据序列，并对数据序列进行预处理，获得输入训练数据块；

步骤2：将输入训练数据块输入时空图卷积网络f(·)，获得序列骨骼图块的嵌入表示，并将其输入到循环神经网络g(·)，聚合上下文信息；

步骤3：根据上下文信息，通过预测网络Φ(·)预测下一序列的骨骼图块嵌入表示，预测得到的嵌入表示也输入进循环神经网络g(·)中，得到新的上下文表示，重复若干次得到一系列预测的图嵌入表示；

步骤4：将得到的预测图嵌入表示与真实图嵌入表示进行比较，通过对比损失函数反向传导优化上述时空图卷积网络f(·)、图卷积循环神经网络g(·)与预测网络Φ(·)，经过若干次迭代，得到预训练模型；

步骤5：根据得到的预训练模型去掉预测网络Φ(·)，将时空图卷积网络f(·)与循环神经网络g(·)部分作为特征提取器，在其上层添加分类器，再经过输入有标签数据的训练，得到最终分类模型；

步骤6：获取待检测的骨骼数据序列，并对其进行预处理，获得输入预测数据块；

步骤7：将输入预测数据块输入分类模型，对需要进行识别的人的各类动作概率进行预测，完成动作识别。

2.根据权利要求1所述的一种基于无监督图序列预测编码的动作识别方法，其特征在于，所述的步骤1具体为：

步骤1-1：对于给定骨骼序列数据X，经过视角不变变换F(·)，得到矫正视角的骨骼序列数据

步骤1-2：对于给定矫正视角后的骨骼序列数据和输入样本窗口大小T_window，首先，将具有T_sample帧的骨架序列采用线性插值上采样为T_window×k帧的序列，其中k∈N+，T_window·(k-1)＜T_sample＜T_window·k；

步骤1-3：对于前置步骤得到的插值后的数据切分为包含T_patch帧的序列块，P＝{p₁,p₂,...,p_n}，对于每个序列块p_i应用随机骨骼图数据增强，最终得到增强后的骨骼序列块

3.根据权利要求1所述的一种基于无监督图序列预测编码的动作识别方法，其特征在于，所述的步骤2具体为：

步骤2-1：根据步骤1中得到的骨骼序列块将输入数据块输入时空图卷积网络f(·)中，得到嵌入表示

步骤2-2：根据步骤2-1:得到的嵌入表示输入图卷积循环神经网络g(·)中得到上下文表示C_i。

4.根据权利要求1所述的一种基于无监督图序列预测编码的动作识别方法，其特征在于，所述的步骤3具体为：

步骤3-1：根据步骤2得到的上下文信息C_i，通过预测网络Φ(·)预测下一序列的骨骼图块嵌入表示

步骤3-2：根据步骤3-1得到的图嵌入表示通过图卷积循环神经网络g(·)获得上下文信息

步骤3-3：根据步骤3-2得到的上下文信息以此类推重复步骤3-1和步骤3-2若干次，得到一系列预测的图嵌入表示

5.根据权利要求1所述的一种基于无监督图序列预测编码的动作识别方法，其特征在于，所述的时空图卷积网络f(·)与循环神经网络g(·)均基于图卷积神经网络构建，预测网络Φ(·)基于神经网络构建。

6.根据权利要求5所述的一种基于无监督图序列预测编码的动作识别方法，其特征在于，所述的时空图卷积网络f(·)与循环神经网络g(·)的图卷积规则为：

其中，和分别表示输入特征图与输出特征图；为图定义的领接矩阵A加上单位矩阵I，即节点自身也链接节点自身，表示其对角度矩阵，τ表示激活函数，Θ表示图卷积层的可学习权重矩阵。