[发明专利]一种基于动态条件卷积的视频实例分割方法及系统

权利要求书

1.一种基于动态条件卷积的视频实例分割方法，其特征在于，包括：

将视频数据输入视频实例分割模型进行训练；

其中，所述视频实例分割模型包括：依次连接的特征金字塔网络、动态条件卷积网络以及全连接标签生成网络；所述特征金字塔网络提取视频中图像的第0帧带有实例标签图像和后续帧图像的多尺度特征；所述动态条件卷积网络从后续帧图像的多尺度特征中抽取目标实例特征，并与第0帧带有实例标签图像结合，生成动态条件卷积核；所述全连接标签生成网络使用动态条件卷积核对视频后续帧的特征卷积运算，得到后续帧中的实例标签；

基于损失函数对视频实例分割模型进行约束，输出训练好的视频实例分割模型；

获取待测视频的第一帧的实例标签，将视频第一帧的实例标签输入训练好的视频实例分割模型，输出视频后续帧中对应的实例。

2.根据权利要求1所述的基于动态条件卷积的视频实例分割方法，其特征在于，在所述将视频数据输入视频实例分割模型进行训练之前包括：

获取视频数据，并采用数据扩充方法在原视频数据的基础上进行视频数据扩充，生成的视频数据训练集用于训练视频实例分割模型。

3.根据权利要求2所述的基于动态条件卷积的视频实例分割方法，其特征在于，所述视频数据训练集中所有视频数据的所有帧都带有实例分割的标签数据。

4.根据权利要求1所述的基于动态条件卷积的视频实例分割方法，其特征在于，所述待测视频的第一帧的实例标签指的是：待测视频数据只有第一帧图像带有实例分割标签数据。

5.根据权利要求1所述的基于动态条件卷积的视频实例分割方法，其特征在于，所述视频实例分割模型包括两个相同结构的特征金字塔网络，每个特征金字塔网络包括ResNetblock、池化层以及步长为2的卷积核。

6.根据权利要求1所述的基于动态条件卷积的视频实例分割方法，其特征在于，所述动态条件卷积网络的输入为特征金字塔网络提取的后续帧图像的多尺度特征，后续帧图像的多尺度特征分别经过三个训练的卷积操作，得到特征向量，然后与第0帧带有实例标签图像结合生成一组基滤波，基滤波组合为卷积核，赋值给全连接标签生成网络。

7.根据权利要求1所述的基于动态条件卷积的视频实例分割方法，其特征在于，所述全连接标签生成网络包括两层卷积，卷积核参数来自动态条件卷积网络的预测，经过两次全卷积操作，得到后续帧图像中的实例分割预测结果。

8.一种基于动态条件卷积的视频实例分割系统，其特征在于，包括：

模型训练模块，其被配置为：将视频数据输入视频实例分割模型进行训练；

其中，所述视频实例分割模型包括：依次连接的特征金字塔网络、动态条件卷积网络以及全连接标签生成网络；所述特征金字塔网络提取视频中图像的第0帧带有实例标签图像和后续帧图像的多尺度特征；所述动态条件卷积网络从后续帧图像的多尺度特征中抽取目标实例特征，并与第0帧带有实例标签图像结合，生成动态条件卷积核；所述全连接标签生成网络使用动态条件卷积核对视频后续帧的特征卷积运算，得到后续帧中的实例标签；

模型约束模块，其被配置为：基于损失函数对视频实例分割模型进行约束，输出训练好的视频实例分割模型；

模型测试模块，其被配置为：获取待测视频的第一帧的实例标签，将视频第一帧的实例标签输入训练好的视频实例分割模型，输出视频后续帧中对应的实例。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于动态条件卷积的视频实例分割方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于动态条件卷积的视频实例分割方法中的步骤。