[发明专利]一种基于空间金字塔掩盖池化的弱监督图像语义分割方法

说明书

本发明公开了一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；根据输出特征图计算类别激活向量和类别概率向量，然后建立竞争性空间金字塔掩盖池化损失函数；根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。本发明实现了局部特征更丰富、区域特征挖掘更完善和目标大小与姿态更鲁棒的弱监督图像语义分割模型，提高了局部语义信息的提取能力，加强了弱监督语义分割中局部目标或者部位的识别能力。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于空间金字塔掩盖池化的弱监督图像语义分割方法。

背景技术

图像语义分割作为基本的计算机视觉任务，其目标是将图像内所有像素进行分类。由于它能在像素级完整地理解图像，所以对于其它视觉任务如图像分类和目标识别都有辅助作用。但是因为像素级标签数据的制作需要耗费大量精力，全监督方式的图像语义分割难以快速实现大规模扩展，于是依赖图像类别标签的弱监督图像语义分割方法被广泛研究。

在过去的计算机视觉研究中，金字塔模型应用很多。著名的SIFT算法通过拉普拉斯金字塔提取关键点描述特征，成为一种具有尺度不变性质的检测算子。后来，金字塔模型被成功应用于卷积神经网络。空间金字塔池化(spatial pyramid pooling，SPP)被用于卷积神经网络尾部提取局部区域特征，SPP在图像分类和目标识别上都取得更好地效果。空洞空间金字塔(atrous spatial pyramid pooling，ASPP)模块基于多个离散率(dilatedrate)的空洞卷积(dilated convolution)获得金字塔特征，并应用于图像语义分割。金字塔场景分割模型将特征图切分到不同空间探索局部与整体的语义联系，通过在整体与局部区域的语义信息对比和联合得到更加鲁棒的分割结果。

金字塔模型在弱监督语义分割中还没有比较成功的应用。一方面，以全局池化结尾的分类网络由于以弱监督方式学习仅仅能得到目标判别性区域，缺乏局部区域信息的提取能力，金字塔模型由于其自身的特性显然可以弥补全局池化的缺点。另一方面，金字塔模型虽然具备多尺度信息和局部信息融合的特点，但是如何更好地在掌握全局信息的基础上分区域挖掘次重要语义信息的难题还没有被完全解决。

发明内容

本发明的目的在于：解决上述现有技术中的不足，提供一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，提高了局部语义信息的提取能力，加强了弱监督语义分割中局部目标或者部位的识别能力。

为了实现上述目的，本发明采用的技术方案为：

一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：

步骤一：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；

步骤二：根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；

步骤三：根据输出特征图计算类别激活向量和类别概率向量，然后建立竞争性空间金字塔掩盖池化损失函数；

步骤四：根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。

进一步的，上述步骤一中通过卷积神经网络H处理输入图像X的步骤具体为：

步骤101：选定一个卷积神经网络H，经过所述卷积神经网络H映射得到分割特征图其中，C为目标类别数量，W为权重参数，为实数域；

步骤102：通过1×1卷积将分割特征图降维，得到分类特征图计算公式为：

F_cls＝F_seg×W+b

其中，b为偏置，