[发明专利]一种增强特征空间对抗学习的域自适应语义分割方法

说明书

本发明提出了一种增强特征空间对抗学习的域自适应语义分割方法，通过引入分类约束鉴别器以及对抗学习和伪标签自训练相结合的混合协作框架，有效地缓解了特征空间对抗学习方法中的训练不平衡和特征失真问题以及分类器过度拟合源域特征的问题，促使网络更好地提取域不变特征，提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。

技术领域

本发明属于无监督域自适应语义分割方法，具体地说，涉及一种增强特征空间对抗学习的域自适应语义分割方法。

背景技术

语义分割的目的是通过标记每个像素来预测输入图像的结构化输出,作为计算机视觉领域的一个重要课题，语义分割在自主驾驶、医学图像分析等领域有着重要的应用。目前的语义分割方法主要是基于深度卷积神经网络的最新进展，随着全卷积网络(fullyconvolutional networks，FCN)的出现，以FCN为骨干网络的语义分割算法取得了巨大的成功。然而，训练深层神经网络需要大量带注释的训练数据。与图像分类任务预测图像的标签不同，语义分割需要对每个像素进行标记，才能预测输入图像的结构化输出，而用于语义分割的像素级注释非常昂贵和耗时。解决语义分割标注问题的一个很有前景的方法是从现代计算机图形学工具提供的合成图像中学习，例如，大量的图像和像素级标签可以从GTA5游戏中自动获取。然而，由于域间显著的差距，例如图像样式和场景布局上的不同，在合成数据集上训练的模型不能很好地泛化到实际图像的分割任务上。

作为解决上述泛化问题的一种方法，无监督域自适应的目的是使在带注释的源域数据集上训练的模型能够较好地迁移到另一个无标记的目标域数据集。当前域自适应的一个最流行的方法是特征空间对抗学习，该类方法致力于为下游任务学习语义上有意义并且领域通用的特征。在特征空间对抗训练中，网络需要训练一个域鉴别器来区分源域和目标域的特征表示，同时，特征生成器被鼓励生成域间不可区分的特征来混淆鉴别器。

生成对抗网络由生成器G和鉴别器D组成，是一种流行的图像合成深度生成模型。生成对抗网络旨在从噪声变量生成图像，使得图像能够捕获数据的分布。其框架对应一个基于值函数的双方对抗游戏：

当将对抗学习方法引入到无监督的域自适应语义分割任务中时，需要生成的则是领域不变的特征，而鉴别器则用来预测生成的特征来自哪个领域。

然而，采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能，鉴别器的能力取决于感受野的大小，如果鉴别器感知到太多的上下文特征，可能会过于强大，打破对抗学习中的训练平衡。尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器，从而增强模型泛化能力，但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器，导致网络对源域图像和目标域图像都产生失真和错误的预测。

故而现有技术存在以下缺陷：

（1）尽管在分类任务上已经取得了很大的进展，现有的特征空间自适应方法在用于语义分割任务时，存在对抗训练不平衡问题。由于为分割任务提取的深层特征相比于分类任务包含更加丰富的结构信息，可能会为鉴别器提供过多的领域线索,导致鉴别器可以很容易地区分来自源域和目标域的特征，由于训练平衡被打破，特征编码器无法产生令人满意的域不变特征。

（2）现有特征空间对抗学习方法的另一个问题是原有特征分布容易发生扭曲失真问题，尽管特征生成器致力于提取领域不变的特征来增强网络泛化能力，但它也可能产生失真和模棱两可的特征来欺骗鉴别器，在这种情况下，源域图像和目标域图像都会产生失真和错误的预测。

（3）此外，在特征空间对抗学习中，由于目标域标签的缺失，分类器只能根据源域标签进行参数更新，网络很难生成具有良好结构可分性的目标域特征，使用源域标签训练的分类器容易过度拟合源域特征，无法预测目标域的结构化输出。

发明内容