[发明专利]一种复杂街景图像语义分割方法

说明书

一种复杂街景图像语义分割方法。本发明基于深度学习方法在包含图像语义分割的计算机视觉领域的成功应用，提出一种采用全局卷积神经网络进行复杂街景图像语义分割的新方法，旨在有效解决在复杂街景图像分割过程中，出现的欠分割和过分割问题，显著提升图像分割的精度和速度。具体主要包括信息输入、编码器、解码器和信息输出四阶段方法流程。编码模块中主要包括DCNN部分和R‑ASPP部分，解码模块中主要包括AT‑Decoder部分。DCNN可以有效提取到包含位置信息的低级特征，R‑ASPP可以最大程度上提取到包含几何和纹理信息的高级语义特征，AT‑Decoder可以有效融合低级细节特征和高级语义特征。

技术领域

本发明属于计算机视觉技术和数字图像处理技术领域，具体涉及一种复杂街景图像语义分割的方法。

背景技术

图像语义分割是图像理解的基础性技术，目前已被应用于真三维显示、无人驾驶以及辅助医疗等领域，也是计算机视觉方向中的研究热点之一。其主要任务是将图像中的每一个像素点进行分类，确定每个点的类别，从而进行区域划分，标注出图像中每个像素所属的对象类别。当前深度学习理论已被广泛应用于该领域，尤其是该理论中的卷积神经网络(Convolutional Neural Network，CNN)方法，已被众多研究者成功用于多种语义分割神经网络模型的构建中。

专利【申请号：CN109101975A】公开了一种采用全卷积神经网络处理图像语义分割问题的方法。主要特征为：前端网络基于细节保留池化层将每个块输出的特征图降采样成统一大小，并对四个输出特征图进行串联处理，进一步应用特征重校正模块对特征图进行重新校正后，传入后端网络；后端网络在经过对主要负责图像采样后，经过一个变权重的全局池化，最后与训练数据集的语义标注图像计算交叉熵，进行误差反向传播。

专利【申请号：CN110263833A】公开了一种基于编码-解码结构的图像语义分割方法。该方法是针对网络中的多层最大池化和下采样操作时容易导致特征图分辨率和空间信息损失问题提出的。通过对网络中获取的深层信息和浅层的空间信息进行有效融合，利用一个多核卷积块对融合后的特征图进行细化，最终，通过数据依赖的逐步上采样操作得到分割结果。

专利【申请号：CN110782462AFu】公开了一种通过双流特征融合进行语义分割的方法。为精确得到图像语义分割结果，该方法在训练阶段的卷积神经网络包含输入层、隐藏层和输出层三层结构，并且在隐藏层中构建了RGB图处理模块、深度图处理模块、融合模块和第一个反卷积层；当将原始图像输入到该网络中执行训练操作时，可获取相应的语义分割预测图；建立损失函数，用于定量化原始图像对应的语义分割预测图构成的集合与对应的真实语义分割图像处理成的独热编码图像构成的集合之间的损失值，并基于此获取卷积神经网络分类训练模型所需要的最优权值矢量和偏置项。

专利【申请号：CN110245665A】公开了一种基于注意力机制的图像语义分割方法。为有效提取图像特征，该专利将深度卷积神经网络应用于选取语义分割网络的主干网络。构建改进的注意力机制计算模块，将其与主干网络串联。采取位置注意力模块，通过数据训练提取数据特征之间的依赖性关系，并设计通道注意力模块来模拟通道相互依赖性。该专利通过在局部特征上建模丰富的上下文依赖关系，显著改善了分割结果。

专利【申请号：CN110210485A】公开了一种基于注意力机制指导特征融合的图像语义分割方法，网络采用编码-解码结构。其中，编码器使用改进后的ResNet-101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；解码器采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；此外，该专利向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，最终得到语义分割图像。