[发明专利]基于数据扩充一致性的领域泛化和领域自适应学习方法

说明书

本发明属于人工智能的机器学习领域，公开了一种基于数据扩充一致性的领域泛化和领域自适应方法，包括以下步骤：S1.根据任务需求，设计基于深度神经网络的预测模型p_θ(y|x)，其中θ为模型参数,该模型输出为给定样本x情况下标记y的条件概率分布；S2.根据任务特点，构造数据扩充器，能够实现对样本的变换，同时保持样本的核心内容不变，从而保持变换后样本的真实标记不变；S3.利用原始训练样本和扩充后的样本构造由有监督损失和数据扩充一致性损失组成的多任务损失函数并进行训练，得到p_θ*(y|x)；S4.将训练好的模型p_θ*(y|x)应用于目标领域测试样本进行预测。本发明是一种简单通用、同时性能良好的领域泛化和领域自适应学习方法，能够更好的解决领域偏移的技术问题。

技术领域

本发明属于人工智能的机器学习领域，具体涉及领域泛化(DomainGeneralization)和领域自适应(Domain Adaptation)深度学习。

背景技术

近年来，深度学习在图像、文本和语音等领域取得非常成功的应用，但是深度学习仍然面临领域偏移(domain shift)的问题，也就是当测试数据(目标领域)和训练数据(源领域)的分布不一致时，模型测试性能会急剧下降。领域泛化和领域自适应学习就是旨在降低由于领域偏移造成的性能下降的机器学习方法。领域自适应学习通过有标记的源领域样本和无标记(或少量标记)的目标领域数据学习适用于目标领域数据的模型。领域自适应学习存在一定的局限性，就是需要提前获取目标领域数据。在很多场景下，我们无法提前获取目标领域的数据，仍需构建适用于未知的目标领域的模型。领域泛化就是一种处理这一问题的机器学习方法，领域泛化利用源领域(多个源领域)的有标记数据，学习一个通用的、可泛化到未知目标领域的模型。

为了应对领域偏移问题，传统的领域泛化和领域自适应通常是通过学习具有领域不变(Domain Invariant)特性的特征表示实现。文献(Unsupervised Domain Adaptationby Backpropagation,Yaroslav Gani,ICML2015)提出了一种基于对抗学习(AdversarialLearning)的领域自适应学习方法，该方法通过对抗网络方法一方面训练判别器区分特征来自哪个领域，同时训练特征提取网络迷惑判别器，最终实现兼具判别性于领域不变性的特征学习。该方法开启了对抗训练在领域泛化和领域自适应中的研究热潮，大量类似方法被提出，但是这类方法的网络结构通常较为复杂，且训练过程需要求解Mini-max优化问题，导致训练较为困难。

文献(Domain Generalization by Solving Jigsaw Puzzles,FabioM.Carlucci,CVPR2019)提出了一种基于自监督学习的领域泛化方法，该方法利用求解拼图游戏(Jigsaw Puzzle)这一自监督辅助任务帮助学习领域不变特征。文献(Self-Supervised Domain Adaptation for Computer Vision Tasks,Jiaolong Xu,IEEEAccess 2019(7):156694-156706)和专利(201910139916.8)提出了另一种自监督领域自适应学习方法，利用目标领域的图像旋转预测这一辅助任务学习适用于目标领域的特征，性能优于基于拼图游戏的自监督方法。但是这类方法由于需要构造辅助任务，导致训练阶段的网络结构复杂度和模型参数数量增加。

由此可见，现有技术中为了解决领域偏移的问题而采用的一系列领域泛化和领域自适应方法，虽然在一定程度上解决了领域偏移问题，但是这些方法要么网络结构复杂训练过程冗长，要么模型复杂需要引入辅助任务网络和参数训练困难，实现起来都具有不小的困难和挑战，因此一种简单通用且性能良好的解决领域偏移问题的领域泛化和领域自适应学习方法正待提出。

发明内容

本发明的目的是解决当前领域泛化和领域自适应方法模型复杂、训练困难，需要引入辅助任务网络和参数等问题，提出一种简单通用、同时性能良好的领域泛化和领域自适应学习方法，更好的解决领域偏移的技术问题。