[发明专利]视频识别及训练方法和装置、电子设备、程序和介质

说明书

本公开实施例公开了一种视频识别及训练方法和装置、电子设备、程序和介质，其中，视频识别方法包括：提取视频中第一关键帧的特征；将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合，获得所述第一关键帧的融合特征；其中，所述第二关键帧在所述视频中检测时序位于所述第一关键帧之前；根据所述第一关键帧的融合特征对所述第一关键帧进行检测，获得所述第一关键帧的物体检测结果。本公开实施例通过迭代式的多帧特征融合方式增强了视频中这些关键帧的共享特征所包含的信息，提高了帧识别的准确率和视频识别效率。

技术领域

本公开涉及计算机视觉技术，尤其是一种视频识别及训练方法和装置、电子设备、程序和介质。

背景技术

视频识别指，基于深度学习方法实现的图像内容理解，包括但不限于像素级语义分割、物体检测、关键点检测等。在智能驾驶、安防监控等领域有着重要应用。

发明内容

本公开实施例提供一种视频识别技术方案。

根据本公开实施例的一个方面，提供的一种视频识别方法，包括：

提取视频中第一关键帧的特征；

将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合，获得所述第一关键帧的融合特征；其中，所述第二关键帧在所述视频中检测时序位于所述第一关键帧之前；

根据所述第一关键帧的融合特征对所述第一关键帧进行检测，获得所述第一关键帧的物体检测结果。

可选地，在本公开上述各视频识别方法实施例中，所述第二关键帧包括所述第一关键帧在所述视频中相邻的前一关键帧。

可选地，在本公开上述各视频识别方法实施例中，所述第二关键帧的融合特征由所述第二关键帧的特征和所述视频中检测时序位于所述第二关键帧之前的第三关键帧的融合特征进行融合处理获得。

可选地，在本公开上述各视频识别方法实施例中，将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合之前，还包括：

获取所述第一关键帧与所述第二关键帧之间的光流场；

根据所述第一关键帧与所述第二关键帧之间的光流场，将所述第二关键帧的融合特征与所述第一关键帧对齐；

将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合，包括：将对齐后的所述第二关键帧的融合特征与所述第一关键帧的特征进行融合。

可选地，在本公开上述各视频识别方法实施例中，将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合，包括：

确定所述第一关键帧的特征与所述视频中第二关键帧的融合特征的权重系数；

根据所述第一关键帧的特征与所述视频中第二关键帧的融合特征的权重系数，将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合。

可选地，在本公开上述各视频识别方法实施例中，所述提取视频中第一关键帧的特征之后，还包括：

确定所述第一关键帧是否所述视频中的第一个关键帧；

响应于所述第一关键帧是所述视频中的第一个关键帧，根据所述第一个关键帧的特征，获得所述第一个关键帧的类别检测结果；

否则，响应于所述第一关键帧不是所述视频中的第一个关键帧，执行所述将所述第一关键帧的特征与所述视频中第二关键帧的融合特征进行融合的操作。

可选地，在本公开上述各视频识别方法实施例中，还包括：

从所述视频中选取第一关键帧。

可选地，在本公开上述各视频识别方法实施例中，从所述视频中选取所述第一关键帧，包括：