[发明专利]一种针对图像语义分割的端到端差异网络学习方法

说明书

本发明公开一种针对图像语义分割的端到端差异网络学习方法，包括如下步骤：使用Caffe深度学习框架分别搭建主网络结构和完整网络结构，其中，主网络结构用于生成粗分割模型和训练集中每个图像的小目标区域，完整网络用于最终的图像语义分割；使用训练集的部分数据训练主网络的粗模型，通过粗模型得到的分割结果与真实分割图比较得到粗模型的误分区域；将得到的粗模型作为初始化参数训练完整网络模型得到最终的分割结果，建立图像语义分割模型；分割模型测试，根据步骤3得到的图像语义分割模型分割所有的测试图像。此种方法可对小目标区域较为敏感，同时也能在一定程度上解决边缘模糊和相似部位误判问题。

技术领域

本发明属于图像处理技术领域，特别涉及一种针对图像语义分割的端到端差异网络学习方法。

背景技术

图像语义分割是计算机视觉三大任务之一，它的目标是对图像中的每个像素点做类别标记，得到一副图像的语义分割图。从传统的图像分割角度来看，图像语义分割是在语义层面上将图像分割成多个区域，然后为每个区域分配合适的类别标签。目前，语义分割在自动驾驶、实时道路监控、自动虚拟试衣和医疗疾病系统等方面都有广泛的应用。在深度学习兴起之前，语义分割的主要方法是使用条件随机场模型来建立概率图模型，近几年来，深度卷积神经网络由于具有很强的学习能力，计算机视觉领域逐渐趋于成熟。同时随着高速计算设备GPU的发展，解决语义分割问题的主流框架已经被深度学习方法所取代。

尽管深度神经网络在图像理解方面精度有了很大的提高，但在这些复杂场景下仍然面临诸多挑战，主要包括：

①较难分割小目标区域或目标区域的条状部位。当原始图像通过全卷积神经网络得到具有多个类别通道特征图之后，由于步长大于等于2的池化层和卷积层存在，分割结果的图像尺寸缩小了若干倍。如果这样的池化层或卷积层达到一定的个数，小目标或目标的条状部位在网络的深层输出特征中将会消失。

②较难分割边缘模糊边界区域。在复杂的自然场景中，前景和背景区域都不仅仅包含单个目标，这给语义分割任务带来巨大的挑战。同时两个物体边界处的分割性能受颜色相似、边缘模糊、相互遮挡和光照变化的影响，现有的分割方法只能得到目标的主要部分而不能得到目标的精确边缘。

③较难分割不同目标的相似部位。对于不同目标的相似部分，由于局部区域在外观上的(例如颜色、纹理和形状)的高度相似性，现有方法较难区分这些区域。例如，猫和狗的身体部位、牛和羊的背部。

上述三种问题都是语义图像分割任务中常见的边界难题，基于全卷积神经网络(Full convolution neural network,FCN)的模型一般都会存在这些问题。同时，单个模型很难在保证整体精度不下降的情况下，对这些边界问题处理得很好。

发明内容

本发明的目的，在于提供一种针对图像语义分割的端到端差异网络学习方法，其可对小目标区域较为敏感，同时也能在一定程度上解决边缘模糊和相似部位误判问题。

为了达成上述目的，本发明的解决方案是：

一种针对图像语义分割的端到端差异网络学习方法，包括如下步骤：

步骤1，使用Caffe深度学习框架分别搭建主网络结构和完整网络结构，其中，主网络结构用于生成粗分割模型和训练集中每个图像的小目标区域，完整网络用于最终的图像语义分割；

步骤2，使用训练集的部分数据训练主网络的粗模型，通过粗模型得到的分割结果与真实分割图比较得到粗模型的误分区域；

步骤3，将步骤2得到的粗模型作为初始化参数训练完整网络模型得到最终的分割结果，建立图像语义分割模型；

步骤4，分割模型测试，根据步骤3得到的图像语义分割模型分割所有的测试图像。