[发明专利]一种面向跨领域智能分析的多网络对抗学习方法和系统

说明书

本发明提供一种面向跨领域智能分析的多网络对抗学习方法和系统，在深度神经网络分类器的基础上增加了一组与类别一一对应的辨别器，每个辨别器分别应用于对其对应类别的源领域、目标领域数据分布进行对抗学习，从而减小领域间对应每一个模式的分布。在训练中，每个数据参与各辨别器训练的权重由数据在深度神经网络分类器正向传播后得到的伪标注决定。分类器的训练目标是通过调整参数，取得最大化辨别器损失函数和最小化分类器损失函数与辨别器损失函数之和的均衡。能有效地解决数据分布呈多模式结构、难以消除偏移的难题，并在多个跨领域智能分析任务中取得了着良好的效果。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及一种面向跨领域智能分析的多网络对抗学习方法和系统。

背景技术

深度神经网络在经过对源领域大规模标注数据的学习后，可以获得在多种相关领域智能分析任务中可用的可迁移特征。但是，由于不同的任务间存在分布偏移，基于源领域训练的深度特征表示并不能保证在目标领域有很好的泛化能力。这个问题的一个直接解决方式，就是在该深度表示的基础上，使用目标领域的有标注数据集进一步地调整深度神经网络。但恰当地调整深度神经网络需要足量的目标领域有标注数据，从而很可能产生昂贵的标注成本。如何能够避免大规模标注工作的同时得到更好的跨领域分析任务效果，已经成为了亟待解决的问题。通过学习一个鉴别模型来减小源领域和目标领域的分布偏移，这样的技术被称作迁移学习或是领域适应。之前的浅层迁移学习方法通过寻找领域之间共享的特征，或是重新估计无标签数据的权重来减小分布偏移。而现有技术中深度领域适应方法使用深度神经网络缩小领域间变化因子的同时，匹配不同领域的边缘数据分布，以用来自适应地学习可迁移的数据表示。

领域适应范式旨在研究如何利用对目标领域无标注数据集的学习，来得到任务效果更佳的深度神经网络。现存的领域适应方法假定源领域和目标领域数据享有共同的数据空间，只是在数据空间上满足不同的分布。接下来，领域适应方法构造辨别模型，对不同领域的数据分布进行匹配，从而减少数据分布的偏移。最近的一些研究工作将深度神经网络应用在领域适应范式中，可以自适应地为跨领域分析任务发掘可迁移的特征表示，从而摆脱了传统的浅层领域适应中需要人为设计特征表示的困难，也解决了深度学习模型微调时的标注成本问题，在众多的跨领域分析任务中取得了良好的效果。

对抗学习方法(adversarial learning)最近被应用在深度领域适应模型中，对抗学习的过程可以看做是我们要得到一个模型(例如CNN)，使得它在源领域数据集上得到的特征表示分布与在一个目标领域数据集上得到的特征表示分布尽量接近。在这个过程中使用一个鉴别器(discriminator)，它可以识别出一个特征表示到底是来自源领域还是来自目标领域。如果这个鉴别器的水平很高，而它又无法分清不同领域特征表示之间的区别，那么就说明我们需要的模型具有很好的跨领域表达能力。该方法拥有学习可迁移特征表示的能力，可以显著减小源领域和目标领域的分布偏移，基于该方法的深度领域适应模型也在各类深度领域适应方法中表现出众。然而，当源领域数据与目标领域数据呈现复杂的多模式结构时，已有的方法常常将源领域和目标领域的特征数据分布直接进行匹配，从而导致迁移不足与错误迁移等问题。其中，迁移不足问题指的是发生在领域间每一个模式对应的分布不能被充分匹配，而错误迁移问题则使不同模式对应的分布被错误地结合在一起的情况。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种面向跨领域智能分析的多网络对抗学习方法和系统，解决了现有技术中源领域和目标领域的特征数据分布进行匹配时，由于源领域数据与目标领域数据呈现复杂的多模式结构导致迁移不足与错误迁移等问题。

根据本发明的一个方面，提供一种多网络对抗学习方法，包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；