[发明专利]基于数据扩充一致性的领域泛化和领域自适应学习方法

权利要求书

1.基于数据扩充一致性的领域泛化和领域自适应学习方法，其特征在于，包括如下步骤：

S1.根据任务需求，设计基于深度神经网络的预测模型p_θ(y|x)，其中θ为模型参数，该模型输出为给定样本x情况下标记y的条件概率分布；

S2.根据任务特点，构造数据扩充器，用于实现对样本表观的丰富变换且保持样本的核心内容不变，从而保证变换后样本的真实标记不变；

S3.利用原始训练样本和扩充后的样本构造由有监督损失和数据扩充一致性损失组成的多任务损失函数并进行训练，得到

S31.根据机器学习任务，选择有监督损失函数，计算源领域或多源领域全部有标记样本的有监督损失L_s；

S32.构造模型预测结果的一致性度量，并计算数据扩充一致性损失；

假设原始样本为x，利用步骤S2中的数据扩充器变换后的样本为利用当前模型p_θ分别对原始样本和扩充样本的预测结果分别为p_θ(y|x)和数据扩充一致性则为p_θ(y|x)和的一致性度量；

领域泛化学习，数据扩充一致性损失利用源领域(D^s)样本进行计算:

其中为一致性度量，表示步骤S2中所述的数据扩充器产生的数据分布，表示当前参数θ的固定拷贝，表示在反向传播中梯度不沿着往后传播；

领域自适应学习，数据扩充一致性损失利用包括源领域(D^s)样本和目标领域(D^t)无标记样本在内的所有可用样本进行计算：

S33.利用有监督损失和数据扩充一致性损失加权求和，构成总损失：

L＝L_s+λ·L_c, (3)

其中λ为数据扩充一致性损失的权重参数；

S34.利用深度神经网络模型优化方法对模型参数θ进行优化，得到θ^*；

S4.将训练好的模型应用于目标领域测试样本进行预测。

2.根据权利要求1所述的基于数据扩充一致性的领域泛化和领域自适应学习方法，其特征在于，步骤S33中对于领域自适应学习，还可在总损失中引入目标领域无标记样本的条件熵损失，以鼓励模型提高目标领域样本预测的置信度；

上述条件熵损失可以表示为：

此时，领域自适应学习的总损失为：

L＝L_s+λ·L_c+γ·L_e, (5)

其中γ为条件熵损失的权重参数。

3.根据权利要求2所述的基于数据扩充一致性的领域泛化和领域自适应学习方法，其特征在于，所述步骤S32中可采用KL散度函数进行一致性度量。

4.根据权利要求1-3任一权利要求所述的基于数据扩充一致性的领域泛化和领域自适应学习方法，其特征在于，所述步骤S2中的数据扩充器通常由一组数据变换随机组合而成，其中可包含添加对抗扰动的数据扩充方法，用以增强模型的鲁棒性和泛化性能。