[发明专利]用于街景理解的基于动态插值重建的语义分割方法及系统

说明书

本发明涉及一种用于街景理解的基于动态插值重建的语义分割方法及系统，该方法包括：对训练集输入图像进行预处理，使图像标准化并获取相同尺寸的预处理图像；用卷积网络提取通用特征，再获取混合空间金字塔池化特征，以这两部分级联作为编码网络提取编码特征；从卷积网络中选取中间层特征，结合编码特征计算插值权重特征，以动态插值的方式搭建解码网络，重建图像分辨率，计算解码特征；计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标对深度神经网络进行训练；利用深度神经网络模型对待分割图像进行语义分割，输出分割结果。该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

技术领域

本发明涉及计算机视觉技术技术领域，具体涉及一种用于街景理解的基于动态插值重建的语义分割方法及系统。

背景技术

图像语义分割是人工智能领域中计算机视觉的一个重要分支，是机器视觉中关于图像理解重要的一环。图像语义分割就是将图像中的每一个像素准确地归类到其所属类别，使其与图像本身的视觉表示内容一致，所以图像语义分割任务也被称为像素级的图像分类任务。

由于图像语义分割与图像分类有一定的相似性，所以各式各样的图像分类网络常常在剔除最后的全连接层后，作为图像语义分割网络的主干网，并相互之间可替换。有时也会通过移除主干网中的池化层或使用带孔卷积等修改获得更大尺寸的特征，最后使用卷积核为1的卷积层获得语义分割结果。在与图像分类对比之下，图像语义分割的难度要更高，因为它不仅需要全局的上下文信息，还需要结合精细的局部信息来确定每个像素点的类别，所以常常利用主干网来提取较为全局的特征，然后再结合主干网中的浅层特征进行特征分辨率重建恢复到原始图像大小。基于特征尺寸先变小再变大的特征，所以常常把前者称为编码网络，后者称为解码网络。同时在编码过程中，为了能更好捕获不同大小物体的特征，常常结合不同感受野和尺度信息，比如带孔空间金字塔池化技术。在现有的图像语义分割方法中，解码过程中分辨率的重建常常采用双线性插值、转置卷积、和亚像素卷积来对图像的尺寸进行方法，第一种很好地选取了插值参考点，但是使用像素的物理距离作为插值，因为不同图的语义距离往往并不与物理具体相同，所以并不能有效地适应不同图像的情况。第二种由于采取补零的方式扩大原图尺寸然后使用一般卷积进行学习，所以学习效率较低。而最后一种则使用对若干个像素点取用了同样的参考点进行学习，选取点不佳。以上的方法都存在一定的问题，导致在解码过程中大尺寸特征不能有效地从信息缺失的小尺寸特征学习而来。

发明内容

本发明的目的在于提供一种用于街景理解的基于动态插值重建的语义分割方法及系统，该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

为实现上述目的，本发明的技术方案是：一种用于街景理解的基于动态插值重建的语义分割方法，包括以下步骤：

步骤A：对训练集输入图像进行预处理，首先让图像减去其图像均值使其标准化，然后随机对图像进行统一尺寸的剪切获取相同尺寸的预处理图像；

步骤B：用卷积网络提取通用特征F_backbone，再基于通用特征F_backbone获取混合空间金字塔池化特征F_mspp，用于捕获多尺度上下文信息，然后以这两部分级联作为编码网络提取编码特征F_encoder；

步骤C：从所述卷积网络中选取中间层特征结合编码特征F_encoder计算插值权重特征然后以动态插值的方式搭建解码网络，进行图像分辨率重建，计算解码特征F_decoder；

步骤D：用解码特征F_decoder获取语义分割概率图，结合图像语义分割标注计算边缘增强权重，并利用语义分割概率图及其标注计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标来对整个深度神经网络进行训练；

步骤E：利用训练好的深度神经网络模型对待分割图像进行语义分割，输出分割结果。