[发明专利]基于协同学习的弱监督语义分割方法及系统

说明书

本发明提供了一种基于协同学习的弱监督语义分割方法及系统，所述方法包括：特征图提取步骤：对输入的原始图像，使用深度神经网络提取图像的高层特征图；定位图提取步骤：使用定位子网络，在特征图上基于图像标签提取物体的定位图；分割图提取步骤：使用分割子网络和条件随机场，在特征图上提取物体分割图；伪标签生成步骤：在物体定位图和分割图上，利用阈值选取得到物体定位伪标签和物体分割伪标签；伪标签结合步骤：物体定位伪标签和物体分割伪标签使用一种自适应的混合策略进行混合。所述系统包括与所述各步骤相对应的模块，本发明能够仅通过提供图像级别的标签，训练对图像的像素级别预测的模型，从而完成对图像的语义分割。

技术领域

本发明涉及计算机视觉和图像处理领域，具体地，涉及一种基于协同学习的弱监督语义分割方法及系统。

背景技术

语义分割是计算机视觉中的一个基础任务，它的目标是给图片中每个像素标注一个对应的语义类别，它对后续的图像理解，图像编辑等任务起到了重要的作用，例如交通场景行人分割、医疗场景病灶分割、军事场景航拍图分割。随着深度神经网络在图像处理领域逐渐发展，现在较为成熟的语义分割技术，基本上都是基于深度学习的方法。然而，不同于分类任务，要收集大量像素级别的标签十分耗时耗力，同时也很难保证标签的准确性和一致性。弱监督语义分割应运而生，在提供不完全标注的情况下，如标注框、笔画、点、甚至是图像类别标签，完成语义分割任务。其中，由于图像级别的标签易得且高效，基于图像标签的弱监督语义分割尤为受人关注。

在基于图像标签的弱监督语义分割领域，最初的研究工作是基于多实例学习，将每个像素看作一个实例，一张图片看作一个包，要确保一张图像至少有一个像素属于目标类，此类方法由于缺乏对每个像素的显式监督，很难区别两个边界上相邻但是属于不同类别的像素之间的语义不连续性，效果有效。之后的大部分研究工作致力于基于弱标签生成高质量的伪标签，通常基于物体注意力图，然而定位图比较平滑，生成的伪标签的边界相对粗糙，很难提供物体的形状信息。

经检索，公开号为CN108647684A的中国发明专利，公开一种基于引导注意力推理网络的弱监督语义方法。该方法通过利用分类流和注意力挖掘两个网络流，分类流有助于识别类的区域，注意力挖掘确保所有可能有助于分类决策的区域都将被纳入网络的注意力之中，使注意力图变得更加完整、准确，通过这两种损失函数可以联合生成和训练注意力图；同时引入引导注意力推理网络的扩展，在弱监督的学习框架中无缝集成额外的监督，从而控制注意力图学习过程。

但上述专利未对图像的边界和形状信息进行考虑，如根据条件随机随机场或者随机行走对物体边界进行建模等，未能充分利用分割任务的特点。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于协同学习的弱监督语义分割方法及系统。

本发明使用协同学习的框架，通过两个骨干共享的子网络，产生位置和边界敏感的伪标签，从而在只有图像级别标注的情况下，通过伪标签训练对图像的像素级别预测的模型，从而完成对图像的语义分割。

根据本发明的第一目的，提供一种基于协同学习的弱监督语义分割方法，包括：

特征图提取步骤：对输入的原始图像，使用深度神经网络提取图像的高层特征图；

定位图提取步骤：使用定位子网络，在特征图上基于图像标签提取物体的定位图；

分割图提取步骤：使用分割子网络和条件随机场，在特征图上提取物体分割图；

伪标签生成步骤：在物体定位图和分割图上，利用阈值选取得到物体定位伪标签和物体分割伪标签；

伪标签结合步骤：物体定位伪标签和物体分割伪标签使用一种自适应的混合策略进行混合。

本发明所述的基于协同学习的弱监督语义分割方法，是能够进行端到端训练的。