[发明专利]基于编码-解码结构的图像语义分割方法

说明书

本发明公开了一种基于编码‑解码结构的图像语义分割方法。其特征包括：首先通过改进结构的ResNet‑101网络对待分割图片提取特征图集合；然后利用多尺度信息融合模块对所提取的特征图进行多尺度信息捕获；并且，利用空间信息提取模块在ResNet‑101的浅层提取丰富的空间信息；接着，将深层的多尺度信息和浅层的空间信息融合后，利用一个多核卷积块对融合后的特征图进行细化；最终，通过数据依赖的上采样操作得到分割结果。本发明主要致力于提高图像分割准确性，属图像处理技术领域，特别适用于医学图像分析、自动驾驶、虚拟现实、驾驶员辅助、机器人传感、室内环境重建、无人机等。

技术领域

本发明属图像处理技术领域，尤其是涉及基于编码-解码结构的图像语义分割方法，特别适用于医学图像分析、自动驾驶、室内环境重建、无人机等任务。

背景技术

语义分割是图像处理中一个重要研究领域，其目标是对图像上的每个像素点进行密集预测并标注上对应物体或区域的类别。随着深度卷积神经网络的不断发展，特别是全卷机神经网络的出现，语义分割技术实现了质的飞跃。为了进一步提高语义分割结果，各国研究人员从不同的角度出发，设计出了多种多样的模型架构。

为了防止连续的下采样和池化操作导致的空间分辨率降低的现象，在Chen等人提出的Deeplabv2、 Deeplabv3和Deeplabv3+，和Zhao等人提出的PSPNet模型中，采用了扩张卷积，其可以有效地扩大滤波器的感受野，减少空间细节的损失。而且，编码-解码结构也可以防止空间信息丢失的现象。例如， Badrinarayanan等人提出的SegNet利用编码-解码结构来捕获更多的空间信息。为了在浅层捕获更多的空间信息，帮助模型恢复目标细节，DeepLabv3+在DeepLabv3模型中添加了一个简单而有效的解码模块。除此之外，在Chao等人提出的GCN、Yu等人提出的DFN和Li等人提出的PAN模型中应用了u型结构，以逐步融合骨干网中不同层次的特征图，提高空间分辨率，弥补空间细节的丢失。GCN利用“大核”来扩大接受域，保持空间信息。

为了捕获更丰富的多尺度上下文信息，很多工作已经取得了一定成果。Deeplabv2提出了扩张空间金字塔池化模块来捕获多尺度上下文信息。Yuan等人提出的OCNet模型通过使用金字塔对象上下文或扩张的空间金字塔对象上下文来捕获多尺度上下文信息。此外，Yang等人提出的DenseASPP模型运用一组扩张卷积层来生成多尺度特征图。Lin等人提出的Refinenet和Ronneberger等人提出的U-net采用编码-解码结构对不同层次的特征图进行融合，获得丰富的上下文信息。Byeon等人以二维LSTM网络为基础，提出了一种基于标签的复杂空间依赖关系捕获模型。为了捕获局部特征上丰富的上下文依赖关系，Shuai等人设计了一个有向无环图的递归神经网络。在Liu等人提出的SPN模型中设计了一个行/列线性传播模型，该模型可以提取场景图像中密集的全局成对关系。在Zhao等人提出的PSANet模型中，通过双向信息传播来学习自适应的点向上下文。

发明内容

为避免现有技术所存在的缺陷与不足，本发明提出一种基于编码-解码结构的图像语义分割方法，以解决在图像语义分割任务中存在的两个挑战：1)多尺度物体的存在导致错误分类；2)空间信息的丢失导致小物体识别不出。

为实现上述发明目的，本发明采用如下技术方案：

本发明基于编码-解码结构的图像语义分割方法是按如下步骤进行

步骤1、制作含有M张图片数据集，其分为三个子集：训练集，验证集和测试集，其中训练集和验证集被准确地进行像素级标注；

步骤2、对基于编码-解码结构的图像语义分割模型进行训练

步骤2.1、首先对训练集图片进行数据增强，即随机水平翻转、10到-10度的随机旋转和0.5到2倍的随机缩放；