[发明专利]视频处理模型的训练方法和装置、视频处理方法和装置

说明书

本公开实施例提供了一种视频处理模型的训练方法和装置、视频处理方法和装置，方法包括：将样本视频数据的每一帧图像分别输入预设单帧模型，得到每一网络层输出的每一帧图像中目标对象的第一识别结果；按照样本视频数据中图像的时间顺序，将每一帧图像分别输入待训练的时序模型，得到每一网络层输出的每一帧图像中目标对象的第二识别结果；分别比较每一网络层输出的每一帧图像的第一识别结果和第二识别结果，确定时序模型识别图像的总损失值；若基于总损失值确定时序模型收敛，则结束训练。应用本公开实施例提供的技术方案，解决因视频数据的图像间存在帧间冗余，导致视频处理进行了大量近似于重复的计算，服务资源成本大大增加的问题。

技术领域

本公开涉及视频处理技术领域，特别是涉及一种视频处理模型的训练方法和装置、视频处理方法和装置。

背景技术

在视频处理场景下，许多智能应用需要在服务端或移动端部署一个深度神经网络模型，采用该深度神经网络模型对视频数据的每一帧图像都要输出一个结果。例如，在使用魔法表情特效时，需要采用深度神经网络模型得到视频数据的每一帧图像上人脸的关键点；在使用背景虚化特效时，需要采用深度神经网络模型得到视频数据的每一帧图像上人物前景和背景的分割掩膜(mask)；在进行自适应的视频编码压缩时，需要采用深度神经网络模型得到视频数据的每一帧图像上显著区域的mask。

目前，为对视频进行处理，采用人工标注的单帧图像训练一个深度神经网络模型，作为单帧模型。进行视频处理时，将视频数据的每一帧图像均输入该单帧模型，得到每一帧图像对应的一个结果。

这里，视频数据的每一帧图像均单独应用了该单帧模型。但视频数据的图像间存在帧间冗余，这导致视频处理进行了大量近似于重复的计算，这大大增加了服务资源成本。

发明内容

本公开提供一种视频处理模型的训练方法和装置、视频处理方法和装置，以解决因视频数据的图像间存在帧间冗余，导致视频处理进行了大量近似于重复的计算，服务资源成本大大增加的问题。具体技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理模型的训练方法，所述方法包括：

获取样本视频数据；

将所述样本视频数据的每一帧图像分别输入预设单帧模型，得到所述预设单帧模型的每一网络层输出的所述每一帧图像中目标对象的第一识别结果，所述预设单帧模型为基于标注有所述目标对象的识别结果的单帧图像对深度神经网络训练得到的模型；

按照所述样本视频数据中图像的时间顺序，将所述每一帧图像分别输入待训练的时序模型，得到所述时序模型的每一网络层输出的所述每一帧图像中所述目标对象的第二识别结果；所述时序模型为：删除所述预设单帧模型中预设数量个网络层，并以帧间的时序连接代替所述预设数量个网络层所得到的模型；

分别比较每一网络层输出的所述每一帧图像的第一识别结果和第二识别结果，得到该网络层的比较结果；

根据所述每一网络层的比较结果，确定所述时序模型识别图像的总损失值；

若基于所述总损失值确定所述时序模型收敛，则结束训练，得到所述视频处理模型。

可选的，所述根据所述每一网络层的比较结果，确定所述时序模型识别图像的总损失值的步骤，包括：

根据所述每一网络层的比较结果，确定所述每一网络层识别图像的子损失值；

根据所述每一网络层识别图像的子损失值，确定所述时序模型识别图像的总损失值。

可选的，所述根据所述每一网络层识别图像的子损失值，确定所述时序模型识别图像的总损失值的步骤，包括：

根据所述每一网络层的权重，对所述每一网络层识别图像的子损失值进行加权求和，得到所述时序模型识别图像的总损失值。