[发明专利]一种基于动态条件卷积的视频实例分割方法及系统

说明书

本发明提供了一种基于动态条件卷积的视频实例分割方法及系统，该方法包括：将视频数据输入视频实例分割模型进行训练；其中，视频实例分割模型包括：依次连接的特征金字塔网络、动态条件卷积网络以及全连接标签生成网络；特征金字塔网络提取视频中图像的第0帧带有实例标签图像和后续帧图像的多尺度特征；动态条件卷积网络用于生成动态条件卷积核；全连接标签生成网络使用动态条件卷积核对视频后续帧的特征卷积运算，得到后续帧中的实例标签；基于损失函数对视频实例分割模型进行约束，输出训练好的视频实例分割模型；获取待测视频的第一帧的实例标签，将视频第一帧的实例标签输入训练好的视频实例分割模型，输出视频后续帧中对应的实例。

技术领域

本发明属于视频图像处理技术领域，涉及一种基于动态条件卷积的视频实例分割方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

视频实例分割是计算机视觉中一项非常经典的任务，具体为是在第0帧中给定一个目标的分割标签，以此为依据，在后续帧中不断对目标进行定位。

视频自动分割最早起源于运动分割，分析视频中运动的区域。在几何约束下的，尤其注重点轨迹，并通过聚类算法对运动信息进行分析，得到最终结果。但这类方法简单的将运动的部分认为是视频中需要分割的目标，容易造成分割结果的碎片化，且不能完整、友好的表达物体级别的信息。随着深度学习技术的产生，无监督、半监督的视频目标分割受到越来越多的关注，使用深度学习方法将前景目标物体进行分割，这类的前景目标物体既可以是静止的，也可以是运动的，是视频中最关键、最显著的物体。

视频实例分割不但要精确分割出像素级别的分割结果，也要预测相应的语义类别，使同一个物体在不同帧上分配到同一个ID。

早期的常见方法是，给出了第0帧的标注，可以利用帧与帧之间的相关性，例如，光流方法。将第0帧的标注顺序传导到第二帧，第二帧的标注再传导到第三帧，直到最后一帧。但是由于视频中目标物体的运动和部分遮挡等现象，这种简单依赖于顺序传递的方法并没有取得理想的效果。

在线学习的方法将视频目标分割分为训练阶段和测试阶段：(1)在训练阶段，使用训练集训练视频分割模型；(2)测试时，给定测试视频，使用测试数据的第0帧进行数据增强，训练集训练的模型再继续在扩充后的测试集第0帧的样本上进行优化。这类方法非常耗时，每给定一个测试视频，都需要使用测试视频第0帧进行在线学习。

综上所述，现有技术用于视频实例分割问题，尚缺乏且精确度高且高效的解决方案。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于动态条件卷积的视频实例分割方法及系统，其能够自动根据视频第一帧的实例标签，预测后续帧中对应的实例，以全自动方式进行，无需进行交互运算。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于动态条件卷积的视频实例分割方法。

一种基于动态条件卷积的视频实例分割方法，包括：

将视频数据输入视频实例分割模型进行训练；

其中，所述视频实例分割模型包括：依次连接的特征金字塔网络、动态条件卷积网络以及全连接标签生成网络；所述特征金字塔网络提取视频中图像的第0帧带有实例标签图像和后续帧图像的多尺度特征；所述动态条件卷积网络从后续帧图像的多尺度特征中抽取目标实例特征，并与第0帧带有实例标签图像结合，生成动态条件卷积核；所述全连接标签生成网络使用动态条件卷积核对视频后续帧的特征卷积运算，得到后续帧中的实例标签；

基于损失函数对视频实例分割模型进行约束，输出训练好的视频实例分割模型；

获取待测视频的第一帧的实例标签，将视频第一帧的实例标签输入训练好的视频实例分割模型，输出视频后续帧中对应的实例。