[发明专利]视频处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种视频处理方法及装置、电子设备和存储介质，所述方法包括：在待处理视频的多个视频帧中，确定出多个目标视频帧；对多个目标视频帧分别进行多个通道的特征提取处理，获得目标视频帧的多个通道的第一特征图；对目标视频帧的第一特征图进行时空提取处理，获得目标视频帧的时空特征信息；根据时空特征信息，对待处理视频进行识别，得到识别结果。根据本公开的实施例视频处理方法，通过顺序置换处理和特征提取处理来获得时空特征信息，无需使用光流或三维卷积等运算开销较大的方式获取时空特征信息，提高处理效率，能够在不增加神经网络的参数数量的情况下，获得较好的时空特征信息表达能力。

技术领域

本公开涉及计算机技术领域，尤其涉及一种视频处理方法及装置、电子设备和存储介质。

背景技术

视频识别是计算机视觉和人工智能领域里一个非常具备挑战的任务，在真实世界中有着广泛的应用。例如，在短视频应用方面，如果能对整个短视频的内容进行准确理解，就能为不同的客户推荐不同的内容，实现千人千面的个性化内容推荐。在安防监控领域，准确的识别出视频中出现的异常行为事件，对及时防止和抑制危险行为能起到非常积极的作用。与图像识别相比，视频识别中包含了视频的时序信息，可利用这些时序信息进一步帮助视频识别。在相关技术中，可通过光流和3D卷积神经网络来提取和利用这些时序信息，但这些方法的计算开销较大，难以应用于实际。

发明内容

本公开提出了一种视频处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种视频处理方法，包括：

在待处理视频的多个视频帧中，确定出多个目标视频帧；

对所述多个目标视频帧分别进行多个通道的特征提取处理，获得目标视频帧的多个通道的第一特征图；

对所述目标视频帧的第一特征图进行时空提取处理，获得所述目标视频帧的时空特征信息，其中，所述时空提取处理包括顺序置换处理和特征提取处理，其中，顺序置换处理包括对一个或多个特征提取处理的输入特征图和输出特征图进行顺序置换；

根据所述时空特征信息，对所述待处理视频进行识别，得到识别结果。

根据本公开的实施例视频处理方法，通过顺序置换处理和特征提取处理来获得时空特征信息，有助于对视频进行识别，且无需使用光流或三维卷积等运算开销较大的方式获取时空特征信息，可以以较小的运算开销获得时空特征信息，提高处理效率，能够在不增加神经网络的参数数量的情况下，获得较好的时空特征信息表达能力，取得明显的精度提升，并提升实用性。

在一种可能的实现方式中，对所述目标视频帧的第一特征图进行时空提取处理，获得所述目标视频帧的时空特征信息，包括：

对所述目标视频帧的第一特征图进行第一顺序置换处理，获得多个第一特征图序列，其中，所述第一特征图序列中的第一特征图的顺序与对应的目标视频帧的顺序一致；

对所述第一特征图序列中的第一特征图进行特征提取处理，获得第二特征图序列，其中，所述第二特征图序列中包括与所述第一特征图对应的第二特征图；

对所述第二特征图序列进行第二顺序置换处理，获得所述时空特征信息。

通过这种方式，在未使用三维卷积或光流的情况下提取到包含目标视频帧之间的时序信息的时空特征信息，可不引入更多的网络参数，从而节省运算开销。进一步地，经过第一顺序置换处理，可使神经网络获得与时间顺序一致的时空特征信息，有利于按时间顺序表达视频的内容，并通过第二顺序置换处理将特征图的顺序置换为以对应的目标视频帧为分组依据的顺序，即，表达为各目标视频帧对应的时空特征信息，使获取的时空特征信息中，包含了各目标视频帧的空间信息，有助于对待处理视频进行识别。

在一种可能的实现方式中，对所述目标视频帧的第一特征图进行第一顺序置换处理，获得多个第一特征图序列，包括：