[发明专利]一种动作识别方法、动作识别模型训练方法及相关装置

权利要求书

1.一种动作识别方法，其特征在于，所述方法包括：

获取包含待识别动作的待识别视频和包含目标动作的动作视频；

将所述动作视频和所述待识别视频输入动作识别模型，通过所述动作识别模型中的特征提取网络分别对所述动作视频和所述待识别视频进行特征提取，得到第一特征数据和第二特征数据；并

在所述动作识别模型的互相关网络中利用所述第一特征数据对所述第二特征数据进行互相关处理，识别所述待识别视频包含的所述待识别动作是否是所述目标动作。

2.根据权利要求1所述的动作识别方法，其特征在于，所述在所述动作识别模型中的互相关网络中利用所述第一特征数据对所述第二特征数据进行互相关处理包括：

基于所述第一特征数据的尺寸确定卷积核；

利用所述卷积核对所述第二特征数据进行卷积处理，得到目标特征值；

基于所述待识别视频中与目标特征值对应的视频段，确定所述待识别动作是否是所述目标动作。

3.根据权利要求2所述的动作识别方法，其特征在于，所述基于所述第一特征数据的尺寸确定卷积核包括：

对所述第一特征数据进行池化处理，以改变所述第一特征数据的尺寸，将池化处理后的第一特征数据作为所述卷积核。

4.根据权利要求2所述的动作识别方法，其特征在于，所述利用所述卷积核对所述第二特征数据进行卷积处理，得到目标特征值包括：

利用所述卷积核对所述第二特征数据进行卷积处理，得到互相关特征值；

利用所述卷积核对所述互相关特征值进行卷积处理，得到目标特征值。

5.根据权利要求1所述的动作识别方法，其特征在于，所述特征提取网络为孪生网络，所述利用特征提取网络对所述动作视频和所述待识别视频进行特征提取，得到第一特征数据和第二特征数据包括：

利用所述孪生网络的第一网络对所述动作视频进行特征提取，得到所述第一特征数据；

利用所述孪生网络的第二网络对所述待识别视频进行特征提取，得到所述第二特征数据。

6.根据权利要求5所述的动作识别方法，其特征在于，所述第一网络和所述第二网络分别包括姿态提取网络和动作提取网络，所述利用特征提取网络对所述动作视频和所述待识别视频进行特征提取包括：

将所述动作视频和所述待识别视频分别输入所述姿态提取主干网络，获取所述动作视频和所述待识别视频中的姿态信息；

将所述动作视频和所述待识别视频中的姿态信息输入所述动作提取网络，对所述姿态信息进行3D卷积处理，提取所述姿态信息的姿态变化，得到所述第一特征数据和所述第二特征数据。

7.根据权利要求6所述的动作识别方法，其特征在于，所述动作视频和所述待识别视频中的姿态信息包括人体的姿态信息，所述人体的姿态信息包括人体的关键点的热度图。

8.一种动作识别模型训练方法，其特征在于，所述方法包括：

获取基准学习样本和多个素材样本，至少一个所述素材样本和所述基准学习样本包含同一种动作类别；

将所述基准学习样本和所述多个素材样本输入动作识别初始模型，所述动作识别初始模型包括初始特征提取网络和初始互相关网络，利用所述初始特征提取网络分别对所述基准学习样本和所述多个素材样本进行特征提取，得到第一样本特征数据和第二样本特征数据；

在所述初始互相关网络中利用所述第一样本特征数据对所述第二样本特征数据进行互相关处理，得到样本特征值，利用样本特征值识别所述待识别视频中是否包含所述动作类别；

基于所述样本特征值和所述动作识别结果对所述动作识别初始模型的参数进行调整，得到动作识别模型。