[发明专利]视频对象分割模型训练方法、装置、电子设备及存储介质

说明书

本公开关于一种视频对象分割模型训练方法、装置、电子设备及存储介质，包括：获取多个原始图像，以及每个原始图像中的对象对应的掩膜图像；基于每个原始图像和每个原始图像中的对象对应的掩膜图像，确定每个原始图像对应的变换图像集；每个原始图像对应的变换图像集包括原始图像对应的K张变换图像，且各张变换图像携带有变换掩膜图像；各张变换掩膜图像由各张变换掩膜图像所属的变换图像集对应的掩膜图像变换得到；K为大于1的整数；基于多个原始图像对应的变换图像集，对原始分割模型进行第一训练，得到视频对象分割模型。本申请通过包含有变换图像和变换掩膜图像的变换图像集对原始分割模型进行训练，无需标签数据，从而减少了训练成本。

技术领域

本公开涉及互联网技术领域，尤其涉及一种视频对象分割模型训练方法、装置、电子设备及存储介质。

背景技术

视频目标分割(Video Object Segmentation,VOS)是视频场景理解和视频编辑的基础能力。该技术在短视频智能编辑、特效制作和短视频创作等领域具有广阔应用前景。VOS技术是指给定某视频序列初始帧中的目标物体掩膜mask，在后续帧的预测出该目标物体的像素级别的分割掩膜mask结果。随着深度学习错的发展，深度神经网络被应用于VOS中，从深度网络提取的高层语义特征能够从复杂场景中更准确辨别目标物体和背景，从而极大的提升了目标分割的效果。

然而，考虑的是在基于具有完善的视频物体分割标注训练数据集的情况下，视频物体分割数据集需要分别标注出一段视频中每个不同物体的像素级掩膜mask结果。然而，这种标注方式比单纯的图片标注更费时和费力，因为其不仅要标注出每张图片中不同物体的分割掩膜mask,还要对齐标识的标注，并在同一段视频中的后续帧中按照相同的标识对目标物体进行标注。因此视频物体分割的标注数据集所需的人力成本和时间成本很大。

发明内容

本公开提供一种视频对象分割模型训练方法、视频对象分割方法、装置、电子设备及存储介质，本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频对象分割模型训练方法，包括：

获取多个原始图像，以及每个原始图像中的对象对应的掩膜图像；

基于每个原始图像和每个原始图像中的对象对应的掩膜图像，确定每个原始图像对应的变换图像集；每个原始图像对应的变换图像集包括原始图像对应的K张变换图像，且各张变换图像携带有变换掩膜图像；各张变换掩膜图像由各张变换掩膜图像所属的变换图像集对应的掩膜图像变换得到；K为大于1的整数；

基于多个原始图像对应的变换图像集，对原始分割模型进行第一训练，得到视频对象分割模型。

在一些可能的实施例中，基于每个原始图像和每个原始图像中的对象对应的掩膜图像，确定每个原始图像对应的变换图像集，包括：

从每个原始图像中的对象对应的掩膜图像中确定目标对象对应的目标掩膜图像；每个原始图像中的对象包括目标对象；

对每个原始图像进行预设变换，得到每个原始图像对应的K张变换图像；

对目标对象对应的目标掩膜图像进行预设变换，得到目标掩膜图像对应的K张变换掩膜图像；

基于每个原始图像对应的，K张变换图像和K张变换掩膜图像确定每个原始图像对应的变换图像集。

在一些可能的实施例中，预设变换包括：

通过模拟帧间运行信息进行的预设变换；

或者通过模拟扭曲变形信息进行的预设变换；

或者通过数据增强进行的预设变换。

在一些可能的实施例中，获取每个原始图像中的对象对应的掩膜图像，包括：

对每个原始图像中的预设对象进行识别，确定预设对象对应的掩膜图像。