[发明专利]一种基于涂鸦的弱监督语义分割方法与系统

说明书

本发明提出一种基于涂鸦的弱监督语义分割方法与系统，包括：获取多张训练图片，训练图片均对应有涂鸦标记和边缘图；选取训练图片作为当前图片，将当前图片输入至语义分割网络，得到当前图片的高层语义特征；将高层语义特征输入至预测修正网络，得到当前图片的分割结果图，并根据当前图片的涂鸦标记，得到当前图片中涂鸦标记区域的交叉熵损失；将高层语义特征输入至边界回归网络，得到当前图片中目标的边界图，并根据当前图片的边缘图，得到边界图中边界区域的均值方差损失；构建总损失函数，并判断总损失函数是否收敛，若是，则将当前预测修正网络作为语义分割模型；将待语义分割的图片输入至语义分割模型，得到待语义分割的图片的分割结果图。

技术领域

本方法属于机器学习和计算机视觉领域，特别涉及面向计算机视觉中弱监督语义分割的机器学习问题。

背景技术

目前流行的场景分割方法主要基于全卷积网络(Fully Convolutional Network,FCN)及其变形。这些方法均结合了迁移学习的想法，利用在大规模图像分类数据集上预训练好的卷积神经网络，将其调整为全卷积网络结构并在弱监督语义分割数据集上进行重训练。对于精细标注的训练，这种方式可以取到很好的分割结果。然而，当仅提供弱标记训练网络时，这类方法主要存在以下问题：(1)分割结果中常常出现不一致、不连续的问题，(2)目标的分割边界常常是不精准、不连贯的。

目前深度学习，特别是卷积神经网络(Convolutional Neural Network,CNNs)，使人工智能和计算机视觉的众多领域取得了巨大的进展。语义分割领域，FCN、deeplab-v2等分割模型被相继提出。基于精细标注的语义分割算法取得了很好的分割结果。然而，精细分割标注相对于分类和检测的标注十分耗时耗力。为了缓解语义分割算法对于精细标注的依赖，弱监督语义分割算法被提出,并逐渐成为新的研究热点。

弱监督语义分割大体可以分为以下四个类别：1、基于图像的弱监督语义分割，2、基于点标记的弱监督语义分割，3、基于包围框的弱监督语义分割，4、基于涂鸦的弱监督语义分割。对于基于图像级别和基于点标记的弱监督语义分割算法，极度有限的标记信息使得训练高精度的语义分割网络非常困难。相比之下，基于涂鸦和包围框的语义标记包含了更多有价值的信息，可以更有效地训练语义分割网络。基于包围框的语义分割算法，通常结合一些候选区域算法迭代地更新目标对应的语义掩码。结合一些图算法和目标候选区域，这种算法的分割精度可以得到提升。然而，在候选区域掩码不精确的情况下，使用逐像素的交叉熵损失会使包围框中不确定的区域误导分割网络的训练，从而不能得到准确的分割结果。本发明选用涂鸦标记作为弱监督标签来训练分割网络。

对基于涂鸦的弱监督语义分割算法，ScribbleSup基于图割算法对目标分割掩码进行迭代更新。Tang等人通过设计归一化损失函数有效地提升了分割性能。然而，这些算法没有充分研究和利用涂鸦标记本身的特性，也没有考虑改进网络结构来提升分割性能。我们发现，涂鸦标记可以被当做一种监督信息来训练分割网络。与此同时，图像的边缘图隐含了语义的边界信息，利用这种信息可以让网络在语义预测边界进行扩充和收缩，从而使预测语义边界与目标真实的边界对齐。基于这种观察，我们设计了一种网络结构，这种网络架构可以有效地利用涂鸦标记和图像边缘信息。

涂鸦标记简单地划几笔作为目标或者背景的标记。直接利用涂鸦标记训练的分割模型只能产生粗糙的分割结果，主要是因为涂鸦标记仅包含部分语义信息，没有提供精细的边界信息来指引模型对每个目标进行准确的分割。最后，我们设计了一种新颖的分割模型——边界感知引导(Boundary Perception Guidance,BPG)，该算法通过结合图像的边缘结构有效地平衡了涂鸦弱监督分割的问题。实验证明这种框架可以产生高分辨率具有清晰语义边界的准确分割结果。

发明内容

本发明提供一种基于涂鸦标记的弱监督语义分割模型——边界感知引导模型，该模型包括两个网络分支，分别是“预测修正网络”和“边界回归网络”。

具体来说，本发明提出一种基于涂鸦的弱监督语义分割方法，包括：