[发明专利]基于协同学习的弱监督语义分割方法及系统

权利要求书

1.一种基于协同学习的弱监督语义分割方法，其特征在于，包括：

特征图提取步骤：对输入的原始图像，使用深度神经网络提取图像的高层特征图；

定位图提取步骤：使用定位子网络，在高层特征图上基于图像标签提取物体定位图；

分割图提取步骤：使用分割子网络和条件随机场，在高层特征图上提取物体分割图；

伪标签生成步骤：在物体定位图和物体分割图上，利用阈值选取分别得到物体定位伪标签和物体分割伪标签；

伪标签结合步骤：将物体定位伪标签和物体分割伪标签进行自适应混合；

所述伪标签生成中，对于物体定位图，首先将物体定位图每个点最大可信度的类别作为初始伪标签，并作为该点标签的可信度，根据显著性图作为背景先验，结合每个点标签的可信度，对每个点标签根据阈值进行筛选，得到物体定位伪标签；对于物体分割图，首先将物体分割图每个点最大可信度的类别作为初始伪标签，并作为该点标签的可信度，之后对每个点标签根据阈值进行筛选，将不满足可信度条件的伪标签设为未知，得到物体分割伪标签。

2.根据权利要求1所述的基于协同学习的弱监督语义分割方法，其特征在于，所述定位子网络和分割子网络共享一个骨干网络，在所述骨干网络中，运用空洞卷积，在保证设定大小特征图分辨率的情况下，增大高层特征图的感受野，对输入的任意图像提取出0到1之间浮点数组成的高层特征图。

3.根据权利要求2所述的基于协同学习的弱监督语义分割方法，其特征在于，所述定位图提取中，在骨干网络提取的高层特征图上使用定位子网络，根据提供的物体类别，通过类别激活映射CAM得到对应类别的物体定位图。

4.根据权利要求3所述的基于协同学习的弱监督语义分割方法，其特征在于，所述定位图提取中，给定一张图像I，f_u,k代表最后一层卷积层之后的单元k在空间位置u的激活，所以对于单元k，执行了全局池化后的结果F_k是在经过最后的全连接层后，对类别c的分数为是单元k对应于类别c的权重，对于类别c的物体定位图A_u,c表示为：

A_u,c直接说明了在空间位置u的激活对图像I分类到类别c的重要性。

5.根据权利要求1所述的基于协同学习的弱监督语义分割方法，其特征在于，所述分割图提取中，在骨干网络提取的高层特征图上使用分割子网络得到粗糙的分割图，之后结合原始图像通过条件随机场CRF得到精细的物体分割图。

6.根据权利要求5所述的基于协同学习的弱监督语义分割方法，其特征在于，所述分割图提取中，在骨干网络提取的物体特征图上，使用分割子网络得到粗糙的分割图H_u,c，分割网络使用了多个不同尺度的空洞卷积，捕捉不同尺度大小物体，之后将粗糙的分割图的对数项作为条件随机场的一元项，将原始图像中关于位置和颜色的信息的高斯核作为条件随机场的二元项，产生精细的物体分割图G_u,c。