[发明专利]融合胶囊相似性的单样本语义分割方法

说明书

融合胶囊相似性的单样本语义分割方法，涉及模式识别、图像处理以及计算机视觉等领域，本方法研究基于深度神经网络的单样本语义分割方法中不清楚的相似性映射问题以及该方法在PASCALVOC 2012数据集的图像语义分割任务中的应用。现有的基于深度神经网络的单样本语义分割方法能快速适应在未知类仅有一张标记图像的情形下完成查询图像的像素级语义类预测任务，但是该方法有时产生的相似性映射图不清楚，使得分割查询图像失败，本方法通过引入胶囊概念建立相似性映射，并设计一个相似性映射上的新边缘损失，与主交叉熵损失共同优化训练网络。基于本方法在PASCALVOC 2012数据集上mIoU值达到58.2％，与原始方法相比，其语义分割的准确率更高，具有一定的实用价值。

技术领域

本发明涉及模式识别、图像处理以及计算机视觉等领域，具体涉及一种融合胶囊相似性的单样本图像语义分割方法。

背景技术

作为计算机视觉领域的重要研究课题，图像语义分割是指将输入图像分割为具有语义的多个区域，即对图像中的每个像素分配一个语义类别。近年来，国内外已出现很多基于深度学习的语义分割模型，它们通常需要大量的训练样本才能工作，而且不能处理未知类别。但人类可以通过一个新类的标记图像就轻松分割出其它图像中的相同类别，受此启发研究者提出了单样本语义分割方法，即只凭借单个标记图像就学习到一个新的类别概念。单样本语义分割网络包括两部分：首先将支持图像集和一个查询图像输入到特征提取和密度比较模块，产生支持特征、查询特征和它们的余弦相似性映射，然后再通过卷积预测模块产生查询图像的预测分割结果。而其中的关键在于如何产生相似性映射。

与传统单样本语义分割方法相比，本发明所提出的融合胶囊相似性的单样本语义分割方法具有以下特点：引入胶囊概念建立相似性映射，并设计一个新的边缘损失和主交叉熵损失共同优化训练网络，一定程度上解决了原相似性映射不清楚问题；与其他方法相比，所提方法的语义分割准确率更高。

发明内容

本发明提出融合胶囊相似性的单样本语义分割方法。该方法引入胶囊概念建立相似性映射从而实现单样本语义分割网络中的相似性映射模块，并综合利用相似性映射上的边缘损失以及预测分割结果和目标分割结果上的主交叉熵损失共同优化网络进行学习，与其他方法相比，所提方法对图像的语义分割准确率更高，具有一定的实用价值。

为解决上述技术问题，本发明所采取的技术方案是：

本发明的融合胶囊相似性的单样本语义分割方法，主要包括如下关键步骤：

S1、特征提取器的构建：

S1.1、导入预训练的特征提取器；

S1.2、输入支持图像到特征提取器得到支持图像的中级特征和高级特征；

S1.3、输入查询图像到特征提取器得到查询图像的中级特征和高级特征；

S2、基于胶囊的相似性映射生成器的构建：

S2.1、分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊；

S2.2、计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素；

S2.3、重塑相似性向量形成相似性矩阵即相似性映射；

S3、卷积预测模块的构建：

S3.1、对支持图像中级特征执行三个连续操作并调整尺寸，对相似性映射调整尺寸，对查询图像中级特征执行卷积操作，拼接这三个张量以备送入卷积预测模块；

S3.2、建立卷积预测模块结构；

S3.3、产生卷积预测模块输出即查询图像的预测分割结果；