[发明专利]用于街景理解的基于边缘稠密重建的语义分割方法及系统

说明书

本发明涉及一种用于街景理解的基于边缘稠密重建的语义分割方法及系统，该方法包括：对训练集输入图像进行预处理，使图像标准化并获取相同尺寸的预处理图像；用卷积网络提取通用特征，再获取三级上下文空间金字塔融合特征，以这两部分级联作为编码网络提取编码特征；利用编码特征获取半输入尺寸编码特征，基于卷积网络获取边缘特征，结合半输入尺寸编码特征，以融合边缘特征的稠密网为解码网络，重建图像分辨率，获取解码特征；计算语义分割损失和辅助监督的边缘损失，以最小化两者加权和损失为目标对深度神经网络进行训练；利用深度神经网络模型对待分割图像进行语义分割，输出分割结果。该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种用于街景理解的基于边缘稠密重建的语义分割方法及系统。

背景技术

图像语义分割是人工智能领域中计算机视觉的一个重要分支，是机器视觉中关于图像理解重要的一环。图像语义分割就是将图像中的每一个像素准确地归类到其所属类别，使其与图像本身的视觉表示内容一致，所以图像语义分割任务也被称为像素级的图像分类任务。

由于图像语义分割与图像分类有一定的相似性，所以各式各样的图像分类网络常常在剔除最后的全连接层后，作为图像语义分割网络的主干网，并相互之间可替换。有时也会通过移除主干网中的池化层或使用带孔卷积等修改获得更大尺寸的特征，最后使用卷积核为1的卷积层获得语义分割结果。在与图像分类对比之下，图像语义分割的难度要更高，因为它不仅需要全局的上下文信息，还需要结合精细的局部信息来确定每个像素点的类别，所以常常利用主干网来提取较为全局的特征，然后再结合主干网中的浅层特征进行特征分辨率重建恢复到原始图像大小。基于特征尺寸先变小再变大的特征，所以常常把前者称为编码网络，后者称为解码网络。同时在编码过程中，为了能更好捕获不同大小物体的特征，常常结合不同感受野和尺度信息，比如带孔空间金字塔池化技术，但是该技术扩大了卷积核的间隔，忽略了内部像素点，同时也没能结合更为全局的上下文信息来弥补自身表达能力的不足。同时，在现有的语义分割方法中，解码过程中常常只是简单地基于前一级特征来恢复分辨率，然后结合对应尺寸的浅层特征来弥补编码过程中的信息丢失，既没能有效地对分辨率重建过程中的有效特征进行重用，也没能针对性地解决图像分辨率重建后物体边界模糊的问题。

发明内容

本发明的目的在于提供一种用于街景理解的基于边缘稠密重建的语义分割方法及系统，该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

为实现上述目的，本发明的技术方案是：一种用于街景理解的基于边缘稠密重建的语义分割方法，包括以下步骤：

步骤A：对训练集输入图像进行预处理，首先让图像减去其图像均值使其标准化，然后随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像；

步骤B：用卷积网络提取通用特征F_backbone，再基于通用特征F_backbone获取三级上下文空间金字塔融合特征F_tspp，用于捕获多尺度上下文信息，然后以这两部分级联作为编码网络提取编码特征F_encoder；

步骤C：扩大编码特征F_encoder尺寸到输入图像尺寸的一半，获取半输入尺寸编码特征F_us，从所述卷积网络中选取中间层特征计算边缘特征结合半输入尺寸编码特征F_us，以融合边缘特征的稠密网为解码网络，进行图像分辨率重建，计算解码特征F_decoder；

步骤D：用解码特征F_decoder和边缘特征分别获取语义分割概率图和边缘概率图，以训练集中的语义图像标注计算边缘图像标注，利用语义分割概率图和边缘概率图以及各自对应的标注分别计算得到语义分割损失和辅助监督的边缘损失，以最小化两者加权和损失为目标来对整个深度神经网络进行训练；

步骤E：利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果。