[发明专利]一种自监督学习与骨骼信息的行为识别方法

权利要求书

1.一种基于自监督学习与骨骼信息的行为识别方法，其特征在于，包括以下步骤：

S1、构建可配置的深度模型，所述深度模型包括变换器网络、预训练分类网络和微调分类网络；其中，变换器网络和预训练分类网络作用于网络预训练阶段，变换器网络和微调分类网络作用于网络微调阶段；

S2、在网络预训练阶段，根据预设的光流预测任务获取预训练样本；其中，所述预训练样本包括骨骼视频以及机器自动生成的光流预测任务的标签；利用所述预训练样本对变换网络进行训练，获取所述变换器网络的初始参数θ′；

S3、在网络微调阶段，根据所述初始参数θ′对变换器网络进行初始化，结合初始化后的变换器网络与进行随机初始化的微调分类网络，构建微调深度模型；

S4、将待识别的骨骼视频输入训练完成的微调深度模型中，由微调分类网络输出分类预测结果；

其中，预训练样本中骨骼视频的表达式为X＝(x₁,x₂,…,x_N)；其中x_i为视频X中的第i帧骨骼图像，N为视频的总帧数；

在网络预训练阶段，选择骨骼视频中15％的视频帧进行随机掩码，得到掩码后的骨骼视频表达式：

X_\＝(x₁,…,x_i-1,MASK,x_i+1…,x_N)；

其中，MASK为掩码帧；

计算掩码帧与下一帧之间的光流运动方向作为该任务的标签；其中，光流运动方向的表达式为Y＝{y_i|i＝1,2,…,M}，M为运动方向的离散个数；

预训练样本中骨骼视频通过深度模型后获得的输出表达式为f＝Ψ_flow[T_θ(X_\)]；

其中，T_θ代表变换器网络的函数，Ψ_flow代表预训练分类网络的函数；

其中，在网络微调阶段，输入的骨骼视频的表达式为X＝(x₁,x₂,…,x_N)，无需经过掩码处理；

骨骼视频通过网络微调阶段的变换器网络后得到的视频特征的表达式为f^′＝_θ(X)；

再经过微调分类网络后，输出行为类别的预测结果的表达式为p＝Ψ_cls(f^′)；

其中，Ψ_cls代表微调分类网络的函数。

2.根据权利要求1所述的自监督学习与骨骼信息的行为识别方法，其特征在于，在所述网络预训练阶段，利用所述预训练样本对变换网络进行训练前，还包括：采用随机方式对所述深度模型的参数进行初始化。

3.根据权利要求1所述的自监督学习与骨骼信息的行为识别方法，其特征在于，在网络预训练阶段，使用交叉熵损失函数结合随机梯度下降法对深度模型的参数进行训练。

4.根据权利要求1所述的自监督学习与骨骼信息的行为识别方法，其特征在于，在网络微调阶段，使用交叉熵损失函数结合随机梯度下降法对该阶段的深度模型进行训练。