[发明专利]基于注意力机制图像块度量学习的弱监督语义分割方法

权利要求书

1.基于注意力机制图像块度量学习的弱监督语义分割方法，其特征在于，包括以下步骤：

1)将带有图像级标签的图片数据用于训练基于深度卷积网络的分类网络，通过评估像素对于类别分类的贡献程度得到类别激活图；

2)利用步骤1)得到的类别激活图，通过选取置信度大于阈值的区域，得到目标物体在图像中的定位信息，并定义为种子区域，基于种子区域框出图片中各个类的候选区域，作为粗糙的目标物体定位信息；

3)利用步骤2)的候选区域，采用基于注意力机制由细到粗的图像块生成方法，分别得到包含前景的图像块提案和包含背景的图像块提案；

4)利用步骤3)的图像块提案，提取正、负图像块对作为正、负样本对；

5)利用步骤4)的正、负样本对，为分类网络增加度量学习任务，采用多级相似性损失进行训练，在训练过程中提高网络对同一个类别正图像块的响应，降低对背景和其它噪声类别图像块的响应，从而提高种子区域精度；

6)利用训练后的分类网络，得到精度更高的包含目标物体像素级定位信息的种子区域，用于训练种子区域扩张网络，配合随机游走算法扩大种子区域；

7)利用步骤6)中的种子区域扩张网络生成伪掩码，训练基于深度学习的全监督语义分割网络，得到最终的语义分割掩码。

2.根据权利要求1所述的基于注意力机制图像块度量学习的弱监督语义分割方法，其特征在于，在步骤1)中，所述分类网络是指以ResNet-38为骨干网络的残差卷积网络；

所述类别激活图为包含了类别信息的图像，表示为：

式中，M_c(x,y)为类别c的类别激活图处于(x,y)处的值；f_n(x,y)为分类网络倒数第二层的第n个输出中处于(x,y)处的值；N_f为分类网络倒数第二层的通道数；n为第二层的通道对应的编号；θ_cn为分类网络倒数第二层第n个输出特征图在第c个类别的输出概率计算中所占权重；M_c(x,y)的值的意义为像素区域对c类别的激活强度。

3.根据权利要求1所述的基于注意力机制图像块度量学习的弱监督语义分割方法，其特征在于，在步骤2)中，所述种子区域是指在类别图中，激活值大于一个阈值的区域，表示为：

式中，S(x,y)为种子区域S中处于(x,y)处的值，该值代表某一个类别；c为类别；M_c(x,y)为类别c的类别激活图处于(x,y)处的值；为不同类别c的类别激活图处于位置(x,y)的值中，数值最大的值对应的类别；为不同类别c的类别激活图处于位置(x,y)的值中，数值最大的值；β₁为超参数，为属于0到1区间的背景类阈值，大于该阈值的像素为非背景类；

基于种子区域，使用了轮廓检测框出图片中各个类的候选区域，作为粗糙的目标物体定位信息；其中，为了避免噪声的干扰，对于长或宽小于50个像素的候选区域，以及长宽比大于4的候选区域进行了过滤的操作；

采用了非极大值抑制算法对具有大重叠的候选区域进行筛选，筛选出其中具有最大置信度的候选区域。