[发明专利]一种面向特征解构的对抗合作网络模块及其对抗合作方法

说明书

本发明公开了一种面向特征解构的对抗合作网络模块，包括对抗合作模块和知识共享模块，所述对抗合作模块包括特征生成器、领域鉴别器和排它式对抗器；所述特征生成器接收任务样本并分别与领域鉴别器和排它式对抗器进行对抗，所述特征生成器生成领域共性特征和领域个性特征，所述知识共享模块接收领域共性特征和领域个性特征并生成最终的分类预测；本发明还公开了一种面向特征解构的对抗合作方法；本发明通过既对抗又合作的网络，能够解构任务相关和任务无关的特征，从而可以在任务之间进行更细粒度的知识共享，还提升了深度学习模型的泛化性能，适用于深度多任务学习、迁移学习、多视图学习和多模态学习等多种学习模式。

技术领域

本发明涉及多任务机器学习领域，特别是涉及一种面向特征解构的对抗合作网络模块及其对抗合作方法。

背景技术

深度学习的发展，推动了计算机视觉、语音识别、自然语音处理等领域的技术进步。在图像识别、游戏博弈等领域，深度神经网络的学习性能甚至超过了人类。但是，深度神经网络需要大量的标注样本进行训练，而且目前的研究表明，即使是经典的深度神经网络，并且用上百万个样本训练过，它也很容易受到数据分布差异的影响，导致学习性能急剧下降。

在大数据时代，异构性是数据的一个天然属性。不同来源的数据，往往同时包含共性信息和个性信息，需要进行特征解构。特征解构是机器学习的一个关键难题。在传统的机器学习领域，研究者已提出了很多成熟的特征分析和特征解构方法，如：非负矩阵分解、主成分分析、奇异值分解、典型相关分析等。但是，目前深度学习领域还缺乏成熟有效的特征解构方法，而其多层复杂网络结构使得特征解构更具挑战性。我们通过对深度特征进行解构，可以揭示深度网络中输入和输出的因果关联关系，提升分类性能，同时也可以极大改善深度学习系统的可解释性。

多任务学习是异构机器学习的一个方向，主要是研究如何挖掘多个任务之间的异构数据关联关系，以提升单个系统的性能。深度多任务学习的主要挑战是，如何将通过深度网络学到的特征，解构成任务共性特征和任务个性特征，与此同时还能保持特征的分类能力。任务共性特征主要捕获不同任务之间的共享知识，而任务个性特征是每个任务独有的特征，与其他任务是不同的。

基于对抗网络的深度多任务(迁移)学习，仍然存在许多需要解决的问题。例如：如何解决数据分布差异和特征解构的问题，用以揭示深度网络中不同层次特征的因果关联，来分离共性特征和个性特征，并且平滑数据分布差异。综上所述，我们很有必要提供一种面向特征解构的对抗合作的方法，以解决目前研究存在的问题，并推进人工智能的研究进展。

发明内容

本发明的目的在于克服现有技术中的上述缺陷，提供了一种面向特征解构的对抗合作网络模块及其对抗合作方法，解决现有技术中特征无法有效解构并应用于知识共享的技术问题。

为实现上述目的，本发明提供了一种面向特征解构的对抗合作网络模块，包括对抗合作模块和知识共享模块，所述对抗合作模块包括特征生成器、领域鉴别器和排它式对抗器；所述特征生成器接收任务样本并分别与领域鉴别器和排它式对抗器进行对抗，所述特征生成器生成领域共性特征和领域个性特征，所述知识共享模块接收领域共性特征和领域个性特征并生成最终的分类预测。

优选的，所述知识共享模块包括领域共性特征分类器、领域混合特征分类器和领域个性特征分类器；所述领域共性特征分别传递到领域共性特征分类器和领域混合特征分类器中，所述领域个性特征分别传递到领域混合特征分类器和领域个性特征分类器中，所述领域共性特征分类器、领域混合特征分类器和领域个性特征分类器通过两两之间的互补学习生成最终的分类预测。

优选的，所述排它式对抗器的运行逻辑包括前向传递和梯度后向反馈。

与现有技术相比，本发明提供的一种面向特征解构的对抗合作网络模块的有益效果在于：

1.本发明提供的面向特征解构的对抗合作网络模块可以同时解决深度多任务学习存在的两个主要问题——特征解构和知识共享，这是现有技术和方法没有考虑到的；