[发明专利]一种基于分布对抗的无监督深度领域适应方法

说明书

本发明公开了一种基于分布对抗的无监督深度领域适应方法，包括以下步骤：获取待分析数据；建立深度网络模型；数据的前向传播；构造损失函数包括标签分类器的损失，领域判别器的损失，多核最大均值差异以及全局损失函数；使用mini‑batch随机梯度下降法进行参数更新。本方法融合了特征分布与领域对抗，使其共同作用于网络模型，提高模型的领域适应能力。所提方法基于卷积神经网络实现，在分类器的全连接层进行特征分布匹配，使用MK‑MMD衡量领域间的特征分布差异，同时在卷积层后搭建两层全连接网络作为领域判别器进行领域对抗。综合大量实验证明了所提方法能够提高深度网络模型的领域适应能力。

技术领域

本发明属于深度学习领域，特别涉及一种基于分布对抗的无监督深度领域适应方法。

背景技术

领域适应可以分为两类：浅层领域适应和深度领域适应。浅层领域适应包含：实例权重重调，特征扩充，特征空间对齐和特征变换。实例权重重调方法的主要思想是根据 实例似然比进行权重调整，如领域分类器的独立后验概率，或通过KL散度衡量密度函 数差异。而特征扩充法则根据测地流采样和测地流核等理论把原始特征嵌入d维线性子 空间，并将数据视为格拉兹曼流形上的点，通过探索不同域局部几何结构拉近领域间距 离。特征空间对齐强调将源特征与目标特征对齐，如子空间对齐通过最小化子空间之间 的布雷格曼散度来寻求对齐。线性相关对齐通过对齐不同领域的二阶统计量来减少源和 目标分布的领域漂移。特征变换法，典型方法有迁移成分分析，把源域与目标域投影到 潜在空间中来缩小领域间的分布差异。

与浅层领域适应不同，深度领域适应是在深度网络模型下建立的领域适应方法。最 近研究表明深度神经网络能够学习到更多的迁移表示，其利用领域不变因素对数据分层 提取特征，效果优于人工特征方法，在分类任务中表现更为出色。然而文献表明，深度特征从输入到输出层逐渐从一般转向特殊，特征可迁移性在较高层时急剧下降，提取深 度神经网络的任务特定层特征，反而会增大领域差异。如何令源领域训练的深度模型在 目标域中也能够很好工作，引起了研究人员的更多探讨。这一类工作中，最大均值差异(Maximum Mean Discrepancy，MMD)被广泛用于匹配不同域的分布，如深度适应网 络，联合适应网络，残差迁移网络等均把MMD嵌入深度神经网络的特定层，通过减小 MMD损失来更新网络适应层，从而学习到更多的可迁移特征。

近来，生成对抗网络(Generative Adversarial Nets，GANs)在深度学习领域中大放 异彩，对抗博弈的思想也被广泛应用于领域适应中。一些方法提出利用GANs将源域图像转换为目标域图像，并利用生成的目标域图像训练分类器。然而，当源域和目标域分 布完全不同时，会产生梯度消失现象，导致对抗训练的效果变差。另一些方法对GANs 改进后再用源域与目标域数据进行训练，使对抗方法的领域适应能力得到提高。其策略 是把生成器改为特征提取器，判别器改为领域分类器，如在领域混淆的基础上添加软标 签损失来描述数据类别相似度，这样做既拉近了领域间特征分布，又拉近了相似类别数 据的分布。此外，梯度反转层嵌入深度网络中，利用对抗学习中博弈思想让特征提取器 “迷惑”领域判别器达到领域适应的目的。

发明内容

针对在深度领域适应现存方法中出现的负迁移及欠适配等问题，提出一种基于分布 对抗的无监督深度领域适应方法，主要解决无监督领域适应问题。

本发明的目的是通过以下技术方案，包括以下步骤：

(1)获取待分析数据：选取图片数据，图片数据x输入网络产生分类标签y∈Y和 领域标签d∈D，Y为标签集，D＝{0,1}，图片数据分为源域数据和目标域数据，源域 数据定义为目标域数据定义为

(2)建立深度网络模型：所述模型基于深度卷积神经网络建立，包括卷积层构成的特征提取器G_f、全连接层构成的标签分类器G_y和领域判别器G_d；