[发明专利]基于注意力机制图像块度量学习的弱监督语义分割方法

说明书

本发明公开了一种基于注意力机制图像块度量学习的弱监督语义分割方法，包括：1)基于深度卷积网络的分类网络得到类别激活图像；2)利用类别激活图像得到包含物体定位信息的种子区域与候选区域；3)基于注意力机制分别得到包含前景和背景的图像块提案；4)提取正、负图像块对作为正、负样本对；5)为分类网络增加度量学习任务；6)训练种子区域扩张网络，配合随机游走算法扩大种子区域；7)训练基于深度学习的全监督语义分割网络，得到最终的语义分割掩码。本发明方法引入度量学习产生用于训练的数据，可以兼容各种全监督语义分割网络，在弱监督语义分割中提高生成的种子区域对前景目标物体的覆盖精度，进而提高生成的语义分割掩码的整体精度。

技术领域

本发明涉及计算机视觉中语义分割的技术领域，尤其是指一种基于注意力机制图像块度量学习的弱监督语义分割方法。

背景技术

图像语义分割是计算机视觉中十分重要的领域。它是指像素级地识别图像，即标注出图像中每个像素所属的对象类别。目前基于深度学习的图像语义分割技术为较为常见的图像语义分割技术。

目前大多数深度学习模型是一种有监督学习，需要提供训练样本的真实标签进行训练，在图像语义分割领域是指像素级的类别标签。

弱监督学习在图像语义分割领域是指需要的标签并非像素级。然而在图像语义分割领域，像素级的样本真实标签获取成本很高，因此发展不依赖于像素级标签也就是弱监督的图像语义分割方法十分重要。

现在常见的弱监督语义方法大致分为三个阶段：1、获得粗略的类别激活图像。2、对该类别激活图像进行调整。3、用调整后的类别激活图像作为伪标签训练全监督图像语义分割模型。其中前两个步骤为优化的重点，已有技术存在类别激活图像不完整，集中于明显特征的部分。

作为区域生长算法的先验信息，种子区域对目标物体的覆盖精度对整体分割性能的影响较大。基于分类网络类别激活图生成的种子区域主要覆盖目标物体最具有判别性的区域，面临覆盖面积不完整和稀疏等问题。

通过在种子区域生成阶段引入本发明提出的注意力机制图像块度量学习，种子区域的定位和覆盖精度得到提升，进而可以获得精度更高的分割掩码。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于注意力机制图像块度量学习的弱监督语义分割方法，能够利用度量学习的特性，在弱监督语义分割中提高生成的种子区域对前景目标物体的覆盖精度，进而提高生成的语义分割掩码的整体精度。

为实现上述目的，本发明所提供的技术方案为：基于注意力机制图像块度量学习的弱监督语义分割方法，包括以下步骤：

1)将带有图像级标签的图片数据用于训练基于深度卷积网络的分类网络，通过评估像素对于类别分类的贡献程度得到类别激活图(Class Activation Map,CAM)；

2)利用步骤1)得到的类别激活图，通过选取置信度大于阈值的区域，得到目标物体在图像中的定位信息，并定义为种子区域(seed areas)，基于种子区域框出图片中各个类的候选区域(object proposals)，作为粗糙的目标物体定位信息；

3)利用步骤2)的候选区域，采用基于注意力机制由细到粗的图像块生成方法，分别得到包含前景的图像块提案(patch proposals)和包含背景的图像块提案(patchproposals)；

4)利用步骤3)的图像块提案，提取正、负图像块对作为正、负样本对；

5)利用步骤4)的正、负样本对，为分类网络增加度量学习任务，采用多级相似性损失进行训练，在训练过程中提高网络对同一个类别正图像块的响应，降低对背景和其它噪声类别图像块的响应，从而提高种子区域精度；

6)利用训练后的分类网络，得到精度更高的包含目标物体像素级定位信息的种子区域，用于训练种子区域扩张网络，配合随机游走算法扩大种子区域；