[发明专利]一种基于迁移学习的快速混合高阶注意力域对抗网络的方法

说明书

本发明涉及基于迁移学习的快速混合高阶注意力域对抗网络的方法，包括：设计用于待处理图像数据集的快速混合高阶注意力和域对抗自适应网络；对源域和目标域进行预处理；将预处理的源域和目标域依次分批量导入所设计的网络，经过快速混合高阶注意力网络得到加权的特征图，然后将这些加权的精细特征图输入到域对抗自适应网络中训练，最后经全连接层进行概率运算；分别计算出源域和目标域的图像平均分类准确率；经过反向传播中梯度反转层取反梯度方向形成对抗训练，再进行迭代训练，利用在源域上训练好的快速混合高阶注意力和域对抗自适应网络，直接应用在目标域上进行图像分类。本发明提高了迁移学习中无监督域自适应网络的识别率和迁移能力。

技术领域

本发明涉及一种基于迁移学习的快速混合高阶注意力域对抗网络的方法，属于神经网络深度学习技术领域。

背景技术

到目前为止，采用完全标注数据进行模型训练的监督学习方法已经取得了巨大的成功，并且成功地应用于许多实际应用中，例如图像识别，语音识别等。但在实际场景中收集足够的训练数据通常很昂贵，耗时并涉及大量的人力资源甚至不切实际。针对这个问题，目前一种常用的解决办法是利用容易标注的源领域中的丰富知识来促进多个标签稀缺目标领域的有效模型学习，被称为领域适应。通常，域适应包括有监督的适应(其中少量标记的目标数据可用于训练)和无监督的适应(其中不存在标记的目标数据)。在应用场景下，目标域无标签的情况更加普遍，并且针对这种情况下的无监督方法近年来也获得了一些重大的进展。因此,本文专注于处理无监督域自适应问题，该问题更具挑战性和解决现实世界中的问题实用性。

无监督域自适应专门解决有全部标记的源域数据和只包含未标记的目标域数据可在训练期间使用的情况。解决无监督域自适应的主要挑战是如何减少域不一致，这也称为域差异。域不一致是一个非常普遍的问题，它是由多种因素引起的，例如自然场景理解中存在的数据捕获角度，照明和图像质量，背景，分辨率等等。为此，在早期基于浅层模型提出了深层领域混淆方法，通过引入适应层和最大均值差域混淆损失来学习域不变表示。深度适应网络方法将任务特定的层嵌入到再现的内核希尔伯特空间中，以增强特征的可传递性。测地流核网络采用KL散度来估计域差异，并整合有限个子空间来发现新的特征表示。然而想要学习到深层模型的可迁移特征，普遍采用基于域分布间统计特性的一种方法是引入对抗学习。

近年来，对抗训练已经被引入来学习领域不变特征，并大大提高了无监督域自适应的性能。已有提出域对抗自适应(DANN)方法建议适用于域自适应的特征应具有判别性和域不变性，并增加了在特征提取器的末尾进行领域分类，以学习领域不变特征。协作与对抗网络提出使用DANN学习领域不变特征后，目标领域数据中的某些特征信息可能会丢失。因此，协作与对抗网络将一组域分类器引入到多个块中，以学习较低层块的域信息表示和较高层块的域非信息表示。对抗性区分域适应网络学习源域的表示，然后通过域对抗损失将目标数据映射到同一空间。多对抗域自适应通过捕获多模态信息来实现多对抗学习，从而基于多个域识别符实现跨域数据分布的细粒度匹配。条件域对抗网络是一种新颖的条件对抗学习框架，它以标签分类器输出中传递的区分性信息为条件，来对抗对抗传递模型，从而实现多模式结构的细粒度对齐。

尽管域对抗自适应方法已经取得了显著的成果，但它们仍然面临着一个主要的瓶颈：尽管对抗域自适应有了显著的改进，但没有考虑不同图像区域的复杂空间属性。显然，图像的不同区域不能平等地迁移。图像中的某些区域，如背景，虽然可以在特征空间中跨域对齐，但可能对域自适应贡献不大。此外，某些在特征空间中跨域明显不同的图像不应跨域强行对齐，否则可能容易受到无关知识的负面转移的影响。为此，有研究人员建议把注意力加入到对抗自适应中,提出自注意力生成对抗网络方法将自注意力加到生成对抗网络框架中，有助于对跨图像区域进行远程和多级依赖性建模.之后，在领域适应性转移注意模型中，部署了多个区域级域标识符以生成可转移的局部注意力，而单个图像级域标识符则用于生成可转移的全局注意力以强调可转移的图像。虽然，领域适应性转移注意考虑到不同图像可转移性的差异性，探索跨域更相似的图像,但是这些常用的注意力方法(即空间和通道注意力)是基于一阶空间分布判别mask，仅限于挖掘简单和粗糙的信息，它们不足以捕获复杂的高阶显著性信息。