[发明专利]动作识别方法、装置、介质及设备

权利要求书

1.一种动作识别方法，其特征在于，包括：

根据图像序列中的多个图像的时序关系，将所述多个图像输入卷积神经网络；

经所述卷积神经网络，对所述多个图像进行动作识别处理，输出所述图像序列的动作识别结果；

其中，所述卷积神经网络用于沿运动轨迹方向做卷积运算，以进行动作识别；

所述卷积神经网络中的轨迹线卷积层沿运动轨迹方向做卷积运算；所述轨迹线卷积层执行的操作包括：

接收待处理图像的外貌特征图、所述待处理图像的至少一相邻图像的外貌特征图、以及所述待处理图像与相邻图像的运动信息；

根据所述运动信息，确定所述至少一相邻图像的外貌特征图中的，与所述待处理图像的外貌特征图中的第一外貌特征位置相对应的第二外貌特征；

根据所述第一外貌特征和所述第二外貌特征，进行卷积运算，输出根据所述卷积运算结果而形成的外貌特征图；

其中，所述运动信息是指表示出待处理图像的外貌特征图中的一第一外貌特征到从相邻图像的外貌特征图中获得的第二外貌特征的运动轨迹的信息；

所述运动信息包括：运动特征图，所述待处理图像的外貌特征图与所述待处理图像的运动特征图相拼接；或者，所述运动信息包括：运动特征图，且所述方法还包括：根据所述待处理图像的运动特征图中的第一运动特征、以及至少一相邻图像的运动特征图中的与所述第一运动特征位置相对应的第二运动特征，进行卷积运算，并将根据所述卷积运算结果而形成的运动特征图与所述形成的外貌特征图相拼接；其中，所述第二运动特征的位置，是根据所述第一运动特征在运动特征图中的位置以及基于所述待处理图像与相邻图像的运动信息确定出的。

2.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息，确定所述至少一相邻图像的外貌特征图中的，与所述待处理图像的外貌特征图中的第一外貌特征位置相对应的第二外貌特征，包括：

在所述确定出的第二外貌特征的位置为非整数形式的位置的情况下，针对所述相邻图像的外貌特征图中的、与所述非整数形式的位置最临近的多个整数形式的位置处的外貌特征，进行插值处理，以获得第二外貌特征。

3.根据权利要求1所述的方法，其特征在于，在所述确定出的第二运动特征的位置为非整数形式的位置的情况下，所述方法还包括：

针对所述相邻图像的运动特征图中的、与所述非整数形式的位置最临近的多个整数形式的位置处的运动特征，进行插值处理，以获得第二运动特征。

4.根据权利要求1或3所述的方法，其特征在于，所述运动特征图包括：批标准化处理后的轨迹线偏移图。

5.根据权利要求1至3中任一项所述的方法，其特征在于：

所述运动信息是利用光流算法计算获得的；或者

所述运动信息是利用用于预测运动信息的神经网络获得的。

6.根据权利要求5所述的方法，其特征在于，所述卷积神经网络是利用多个带有动作类别标注信息的图像样本训练获得的；

在所述运动信息是利用用于预测运动信息的神经网络获得的情况下，所述卷积神经网络的训练过程包括：

针对所述卷积神经网络和预训练后的用于预测运动信息的神经网络进行联合训练。

7.根据权利要求1至3中任一项所述的方法，其特征在于：

在所述卷积神经网络被划分为：浅层结构、中层结构以及深层结构，三个深度结构的情况下，所述浅层结构和/或中层结构中设置有至少一轨迹线卷积层；

在所述卷积神经网络被划分为：浅层结构以及深层结构，两个深度结构的情况下，所述浅层结构中设置有至少一轨迹线卷积层。

8.根据权利要求1至3中任一项所述的方法，其特征在于，所述卷积神经网络包括：可分离的三维卷积神经网络。