[发明专利]动作识别方法、装置、介质及设备

说明书

本申请的实施方式公开了一种动作识别方法、装置、介质及设备，其中的动作识别方法包括：根据图像序列中的多个图像的时序关系，将所述多个图像输入卷积神经网络；经所述卷积神经网络，对所述多个图像进行动作识别处理，输出所述图像序列的动作识别结果；其中，所述卷积神经网络用于沿运动轨迹方向做卷积运算，以进行动作识别。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种动作识别方法、动作识别装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

在动作识别以及时域动作检测等动作处理技术领域中，通常需要形成图像的外貌特征图，并针对形成的外貌特征图进行分类等处理。

动作识别以及时域动作检测等动作处理技术可以应用在自动设置视频分类标签、检测视频中是否存在违规动作/行为、以及对视频中特定人员的异常行为进行监控等场景中。

如何使图像的外貌特征图能够尽可能准确的反映出图像的外貌特征，对于动作识别以及时域动作检测等动作处理技术而言，是非常重要的。

发明内容

本申请实施方式提供一种动作识别技术方案。

根据本申请实施方式其中一个方面，提供一种动作识别方法，所述方法包括：根据图像序列中的多个图像的时序关系，将所述多个图像输入卷积神经网络；经所述卷积神经网络，对所述多个图像进行动作识别处理，输出所述图像序列的动作识别结果；其中，所述卷积神经网络用于沿运动轨迹方向做卷积运算，以进行动作识别。

在本申请一实施方式中，所述卷积神经网络中的轨迹线卷积层沿运动轨迹方向做卷积运算；所述轨迹线卷积层执行的操作包括：接收待处理图像的外貌特征图、所述待处理图像的至少一相邻图像的外貌特征图、以及所述待处理图像与相邻图像的运动信息；根据所述运动信息，确定所述至少一相邻图像的外貌特征图中的，与所述待处理图像的外貌特征图中的第一外貌特征位置相对应的第二外貌特征；根据所述第一外貌特征和所述第二外貌特征，进行卷积运算，输出根据所述卷积运算结果而形成的外貌特征图。

在本申请另一实施方式中，所述根据所述运动信息，确定所述至少一相邻图像的外貌特征图中的，与所述待处理图像的外貌特征图中的第一外貌特征位置相对应的第二外貌特征包括：在所述确定出的第二外貌特征的位置为非整数形式的位置的情况下，针对所述相邻图像的外貌特征图中的、与所述非整数形式的位置最临近的多个整数形式的位置处的外貌特征，进行插值处理，以获得第二外貌特征。

在本申请再一实施方式中，所述运动信息包括：运动特征图，所述待处理图像的外貌特征图与所述待处理图像的运动特征图相拼接。

在本申请再一实施方式中，所述运动信息包括：运动特征图，且所述方法还包括：根据所述待处理图像的运动特征图中的第一运动特征、以及至少一相邻图像的运动特征图中的与所述第一运动特征位置相对应的第二运动特征，进行卷积运算，并将根据所述卷积运算结果而形成的运动特征图与所述形成的外貌特征图相拼接；其中，所述第二运动特征的位置，是根据所述第一运动特征在运动特征图中的位置以及基于所述待处理图像与相邻图像的运动信息确定出的。

在本申请再一实施方式中，在所述确定出的第二运动特征的位置为非整数形式的位置的情况下，所述方法还包括：针对所述相邻图像的运动特征图中的、与所述非整数形式的位置最临近的多个整数形式的位置处的运动特征，进行插值处理，以获得第二运动特征。

在本申请再一实施方式中，所述运动特征图包括：批标准化处理后的轨迹线偏移图。

在本申请再一实施方式中，所述运动信息是利用光流算法计算获得的；或者，所述运动信息是利用用于预测运动信息的神经网络获得的。