[发明专利]融合胶囊相似性的单样本语义分割方法

权利要求书

1.融合胶囊相似性的单样本语义分割方法，其特征在于，该方法包括如下步骤：

S1、特征提取器的构建：

S1.1、导入预训练的特征提取器；

S1.2、输入支持图像到特征提取器得到支持图像的中级特征和高级特征；

S1.3、输入查询图像到特征提取器得到查询图像的中级特征和高级特征；

S2、基于胶囊的相似性映射生成器的构建：

S2.1、分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊；

S2.2、计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素；

S2.3、重塑相似性向量形成相似性矩阵即相似性映射；

S3、卷积预测模块的构建：

S3.1、对支持图像中级特征执行三个连续操作并调整尺寸，对相似性映射调整尺寸，对查询图像中级特征执行卷积操作，拼接这三个张量以备送入卷积预测模块；

步骤S3.1具体过程为：首先用1×1卷积过滤查询图像中级特征，随后，支持图像中级特征需执行三个连续操作：1×1卷积、支持掩码乘积和全局平均池化；然后依照过滤后的查询图像中级特征张量的大小，将运算后的支持图像中级特征和相似性映射都调整成相等尺寸；最后拼接三个同尺寸张量并输入给卷积预测模块；

S3.2、建立卷积预测模块结构；

S3.3、产生卷积预测模块输出即查询图像的预测分割结果；

S3.4、通过相似性映射图和目标分割图间的边缘损失以及预测分割图和目标分割图间的主交叉熵损失共同优化并训练单样本语义分割网络。

2.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S1.1中采用ResNet50作为预训练的特征提取器。

3.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S2.1中分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊方法如下：首先，查询图像高级特征和掩码后的支持图像高级特征都是三维张量，其每维大小为(c,h,w)，其中c为通道数，h为高度，w为宽度；将张量分裂成h×w个尺寸为c的向量，即对应张量中所有通道的每个位置；其次，通过挤压函数将这些向量转化成胶囊概念，令x_q，x_s分别代表分裂后的查询向量和支持向量，则上述过程描述为：

该公式的计算结果则为对应的查询胶囊和支持胶囊。

4.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S2.2中计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素，其过程形式化为：

其中h和w为特征张量在一个通道中的高与宽，该公式的计算结果为查询胶囊x_q和支持胶囊x_s的余弦相似性；

C_Q＝[c₁,c₂,…,c_q,…,c_h×w]，

其中c_q＝max_{s∈{1,2,…,h×w}}(cos(x_q,x_s)),q＝1,2,…,h×w，c_q表示查询胶囊x_q的相似性值，所有查询胶囊的相似性值组成C_Q即相似性向量。

5.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S2.3中所述重塑相似性向量是将尺寸为h×w的相似性向量C_Q重塑成尺寸为h_C×w_C的相似性矩阵即相似性映射M_Q，其中h_C为相似性矩阵的高，w_C为相似性矩阵的宽，同时满足h_C×w_C＝h×w。