[发明专利]一种基于金字塔网络的语义分割方法

权利要求书

1.一种基于金字塔网络的语义分割方法，其特征在于包括如下步骤：

步骤1：场景RGB图片经过预训练模型提取出特征图Ⅰ，特征图Ⅰ的大小为输入的场景RGB图片的1/8大小；

步骤2：在池化前，记录特征图Ⅰ的最大池化值，然后基于池化和卷积操作，对步骤1提取出的特征图Ⅰ进行4个不同尺度的维度处理，得到4个不同维度的特征图；

步骤3：通过上采样层将4个不同维度的特征图合并成池化前相同大小的特征图Ⅱ；

步骤4：将步骤3所得到的特征图Ⅱ经过一个编码器和解码器，得到特征图Ⅲ；

步骤5：将特征图Ⅲ与特征图Ⅱ合并，生成特征图Ⅳ；

步骤6：将步骤5获得的特征图Ⅳ再经过一个卷积层，得到最终输出。

2.根据权利要求1所述的一种基于金字塔网络的语义分割方法，其特征在于步骤1所述的预训练模型：

所述的预训练模型即ResNet网络：以ResNet101为基础进行改进，除了使用后面的softmax分类做loss，在第四阶段添加了一个辅助的loss；两个loss一起传播，使用不同的权重，共同优化参数；同时ResNet网络利用Softmax分类器对多类别目标计算分类得分，利用边界框回归对边框进行调整；利用多任务损失函数对多类别分类器和边界框回归器进行联合优化训练。

3.根据权利要求2所述的一种基于金字塔网络的语义分割方法，其特征在于所述的步骤2具体实现方法如下：

特征图Ⅰ经过不同程度的池化得到融合的带有整体信息的特征，并记录特征图Ⅰ的最大池化值；经过不同尺度的维度处理，得到4个不同维度的特征图；4个不同维度的特征图大小分别为1×1、2×2、3×3和6×6；采用1×1卷积层对上下文特征进行降维，保持全局特征的权重，如果金字塔的level大小为N，则卷积层后变为1/N。

4.根据权利要求3所述的一种基于金字塔网络的语义分割方法，其特征在于所述的步骤4具体实现如下：

在编码器阶段做max-pooling时，将池化索引(pooling indices)记录，在解码器进行上采样(decoder upsamples)使用这些池化索引(pooling indices)得到稀疏的上采样特征图(upsampled maps)，再用可训练的解码器滤波器组进行卷积得到稠密的特征图Ⅲ。

5.根据权利要求4所述的一种基于金字塔网络的语义分割方法，其特征在于所述的步骤5利用concat函数将解码器中输出的特征图Ⅲ与特征图Ⅱ合并。