[发明专利]用于街景理解的基于边缘稠密重建的语义分割方法及系统

权利要求书

1.一种用于街景理解的基于边缘稠密重建的语义分割方法，其特征在于，包括以下步骤：

步骤A：对训练集输入图像进行预处理，首先让图像减去其图像均值使其标准化，然后随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像；

步骤B：用卷积网络提取通用特征F_backbone，再基于通用特征F_backbone获取三级上下文空间金字塔融合特征F_tspp，用于捕获多尺度上下文信息，然后提取编码特征F_encoder；

步骤C：扩大编码特征F_encoder尺寸到输入图像尺寸的一半，获取半输入尺寸编码特征F_us，从所述卷积网络中选取中间层特征计算边缘特征结合半输入尺寸编码特征F_us，以融合边缘特征的稠密网为解码网络，进行图像分辨率重建，计算解码特征F_decoder；

步骤D：用解码特征F_decoder和边缘特征分别获取语义分割概率图和边缘概率图，以训练集中的语义图像标注计算边缘图像标注，利用语义分割概率图和边缘概率图以及各自对应的标注分别计算得到语义分割损失和辅助监督的边缘损失，以最小化两者加权和损失为目标来对整个深度神经网络进行训练；

步骤E：利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果；

所述步骤B中，用卷积网络提取通用特征F_backbone，再基于通用特征F_backbone获取三级上下文空间金字塔融合特征F_tspp，然后提取编码特征F_encoder，包括以下步骤：

步骤B1：使用卷积网络对预处理图像提取通用特征F_backbone；

步骤B2：使用1×1卷积对特征F_backbone进行特征降维，得到特征

步骤B3：对F_backbone整张图像进行平均池化，然后再使用最近邻插值恢复到原尺寸，再经过1×1卷积得到图像级特征F_image；

步骤B4：用孔率为r_as的卷积核对F_backbone进行带孔卷积得到特征然后拼接三级上下文特征F_image和后使用1×1卷积进行特征融合，得到孔率为r_as的三级上下文融合特征卷积过程中使用批标准化来保持输入的同分布，用线性整流函数作为激活函数；其中，带孔卷积计算公式如下：

其中，表示在输出坐标m_as位置的使用孔率为r_as的带孔卷积的处理结果，x_as[m_as+r_as·k_as]表示输入x_as在坐标m_as位置上于孔率为r_as且带孔卷积核坐标为k_as时所对应的输入参考像素，w_as[k_as]表示在带孔卷积核作为k_as位置的权重；

步骤B5：使用不同的孔率重复上一步骤，直至获得n_tspp个特征，然后将这n_tspp个特征与和F_image进行拼接，得到三级上下文空间金字塔融合特征F_tspp；

步骤B6：使用1×1卷积对特征F_tspp进行降维，然后再用深度学习中的dropout进行正则化，得到最后的编码特征F_encoder；

所述步骤C中，扩大编码特征F_encoder尺寸到输入图像尺寸的一半，获取半输入尺寸编码特征F_us，从所述卷积网络中选取中间层特征计算边缘特征结合半输入尺寸编码特征F_us，以融合边缘特征的稠密网为解码网络，进行图像分辨率重建，计算解码特征F_decoder，包括以下步骤：

步骤C1：定义最初输入图像尺寸与特征尺寸的比率为该特征的输出步幅，使用最近邻插值处理编码特征F_encoder，得到输出步幅为2的特征图F_us；

步骤C2：从提取通用特征的卷积网络中选取输出步幅为os的中间层特征先使用1×1卷积进行降维，然后使用双线性插值扩大倍得到边缘特征

步骤C3：拼接特征F_us和使用1×1卷积降维后，再使用3×3卷积提取特征得到解码特征F_decoder；

步骤C4：选取比步骤C2中更小的输出步幅os，如果全部输出步幅处理完成，则解码特征提取完成，否则拼接F_us和F_decoder作为新的F_us，并重复步骤C2至C3。