[发明专利]基于对比对抗学习的领域自适应方法及装置

说明书

基于对比对抗学习的领域自适应方法及装置，在源域数据上使用损失函数L_cls(x^s，y^s)训练整个网络模型，固定特征提取器中参数，仅更新分类器C₁和C₂，最小化分类器分类损失以及最大化分类器对目标域样本判别差异，固定分类器C₁和C₂中的参数，使用L_dis更新特征提取器中的参数，在这一步骤中保留了自适应损失项。分类器C₁和C₂分别使用不同的数据增强方式的特征，因此保障了分类器的多样性，使得双分类器能够更高效的找出处于分类边界的样本，使得模型学习到的特征含有更多有效信息，从而较好地解决无监督领域自适应问题，在传统基于双分类器对抗方法的基础上，不仅考虑分类器在目标域上的决策边界，同时也进一步关注域间差异。

技术领域

本发明涉及计算机视觉的技术领域，尤其涉及一种基于对比对抗学习的领域自适应方法，以及基于对比对抗学习的领域自适应装置。

背景技术

本发明重点解决无监督领域自适应的图像分类问题，将深度网络和领域自适应问题相结合。通过在特征空间对样本的特征进行处理，减小源域和目标域分布的差异，使得源域上学到的知识同样可以作用于目标域。深度无监督领域自适应作为一个备受关注的研究领域，已有大量的学者参与了这个领域的研究工作。目前，深度无监督领域自适应方法主要可以分为三类，分别是：基于分布距离度量的方法，基于域对抗的方法以及基于重构误差的方法。

(1)基于分布距离度量的方法：

这类方法的核心思想是通过最小化不同域之间的分布距离来实现不同域数据之间的对齐。目前最大平均差异(MMD)、相关性对齐(CORAL)和Wasserstein度量这三类度量分布距离的方式被广泛应用在这类算法中。最大平均差异(MMD)最初用于检验两个分布是否相同，现在一般用于度量两个分布之间的相似性。该度量通过寻找在样本空间上的一个连续函数，求不同分布的样本在该函数上的函数值的均值来求解两个分布对应于这一函数的平均差异。如果平均值不同，那么样本很可能不是来自同一个分布，因为可以确定当且仅当两个分布相等时，他们之间的MMD距离为零。将这种思想用于深度自适应方法时，可以通过对深度网络进行最小化特征分布之间的MMD距离的约束，来实现减小特征分布之间的MMD距离，并达到最小化深度网络对应层之间的输出特征之间的分布差异的目的。考虑到深度网络具有多层结构，其中每一层都会输出相应的特征。为了探索MMD距离约束与不同层间输出之间的适配性，Longetal.提出了多项式核MMD(MK-MMD)算法。此外，Bousmalis等人在探索了基于MMD的领域自适应方法的有效性。基于相关性对齐(CORAL)的自适应方法与MK-MMD方法相似，更多的考虑了整个域的空间结构，从数据波动性的角度考虑域间分布的对齐。这类方法通过减小源特征和目标特征的二阶统计量(协方差)之间的距离，使得数据的波动性相似，通过这种方式使位于两个域的不同分布的结构较为一致，从而减小两个分布之间的差异。由最优运输问题定义的Wasserstein距离也叫做推土机距离(EMD)，用于度量不同分布之间的距离。这类方法通过求解最优运输规划问题最小化域分布差异。

(2)基于域对抗的方法：

学者们将对抗的思想引入DA，得到了基于域对抗方法的领域自适应方法。基于对抗的领域自适应方法引入域判别器，成功的将领域自适应问题和对抗网络结合在一起。域判别器最大化域分布差异，特征提取器最小化域分布差异。这类方法通过特征提取器和域判别器之间的对抗，将来自源域和目标域的数据投影到了一个公共空间中，得到了不同域数据在该空间中的域不变表示，并利用这些域不变表示特征实现域间数据差异的消除。这种基于域对抗的方法通常需要通过交替迭代的方式寻找最优解。为了减少模型的时间复杂度，通过引入梯度反转层，使得网络成为一个端到端的模型，来实现模型复杂度的降低。此外，Shen等人使用Wasserstein距离约束域判别器进行域对抗学习，减小数据分布之间的差异，取得了良好的成果。

(3)基于误差重构的方法