[发明专利]一种基于知识蒸馏的半监督视频目标分割方法

说明书

本发明公开了一种基于知识蒸馏的半监督视频目标分割方法，包括以下步骤：首先设计基于半监督视频目标分割网络，然后设计基于知识蒸馏的网络训练方法，确定损失函数设计和调节参数的策略，最后训练得到基于知识蒸馏的半监督视频目标分割模型，该模型可以较快速的将输入的视频中运动的目标分割出来。本发明通过改进深度学习算法可以明显提升视频目标分割的性能并实现轻量化，提供了一种半监督视频目标分割方案，大大节省了人力，只需少量标注信息，就可以较为快速分割出视频中的目标。

技术领域

本发明涉及半监督视频目标分割领域，并且更具体地，涉及一种基于知识蒸馏的半监督视频目标分割方法。

背景技术

视频目标分割是定位并分割出用户感兴趣的目标对象。根据分割过程中的人工干预程度，通常将视频目标分割技术分为三种类别:无监督视频目标分割、交互式视频目标分割和半监督视频目标分割。无监督视频目标分割是对于给定视频序列，无需指定特定的分割目标，根据视频中前景目标的外观显著性与运动显著性，自动地分割出视频中显著的目标对象;交互式视频目标分割是指在分割过程中，用户对其进行人工干预，校正分割结果，如在分割过程中对错误像素进行重新标定等;半监督视频目标分割是指在第一帧中提供特定感兴趣目标的分割掩码，在视频后续帧中自动地分割出给定的目标对象。

半监督视频目标分割较为主流，用户在第一帧中给出感兴趣目标的分割掩码，在后续帧中自动分割出给定的目标对象。近年来，由于深度学习的发展，全卷积神经网络在图像分割领域取得了巨大的进步。在深度学习的驱动下，半监督视频目标分割方法主要依赖于三种策略:在线学习策略、基于掩码传播策略以及基于特征匹配策略。

公开号为CN113344932A的中国专利公开了“一种半监督的单目标视频分割方法”，通过改进的Unet网络实现对视频图像的准确分割，但是对于场景较为复杂的场合仅通过提取相邻两张图片的特征，容易出现信息丢失的情况。

发明内容

针对现有技术的以上缺陷或者改进需求，本发明提供了一种基于知识蒸馏的半监督视频目标分割方法，其目的在于实现一种方法在只有第一帧标注信息的情况下，实现对视频目标的准确分割。

为实验上述目的，按照本发明的一个方面，提供了一种基于知识蒸馏的半监督视频目标分割方法，包括以下步骤：

步骤1，构建两种不同大小的半监督视频目标分割网络架构；

步骤2，先训练大型半监督视频目标分割网络，得到准确较高的网络模型；

步骤3，使用知识蒸馏的方法，通过大型半监督视频目标分割网络引导小型视频目标分割网络训练；

步骤4，得到预测准确性与大型半监督视频目标分割网络相似的基于知识蒸馏半监督视频目标分割模型。

进一步的，所述步骤1中两种不同大小的半监督视频目标分割网络框架有三条分支；第1条分支用于提取第1帧和前一视频帧的空间特征，第2条分支用于生成当前帧与前一视频帧的光流信息图，并根据前一帧的预测掩码和生成的光流信息图通过运动投影生成当前帧的掩码，训练时除了第一帧是使用的人工标注的真实掩码，其他帧都是使用的这里生成的掩码代替真实掩码，第3条分支用于提取当前帧图片的空间特征；

其中，第1条分支和第3条分支的结构相同，都由K层特征编码层组成，所述特征编码层包括若干个特征编码卷积模块；第2条分支采用的是现有的光流生成网络FlowNet，其中两种不同大小的半监督视频目标分割网络体现在第1条分支和第3条分支中特征编码层中特征编码卷积模块数量的不同；

第1条分支和第3条分支输出的特征图为输入视频帧的1/16，三条分支的具体操作为：第1条分支的输出先和第2条分支第4层光流特征编码层的输出进行拼接，然后其输出与第3条分支的输出分别送入特征编码卷积模块中，将得到的两个输出特征图进行相加操作送入解码器，最终输出预测结果。

进一步的，所述特征编码卷积模块的具体处理过程如下；