[发明专利]迁移学习方法、装置、计算机设备和存储介质

说明书

本申请揭示了迁移学习方法，迁移学习网络包括任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器,所述方法包括：将指定任务的标注数据输入任务训练模型进行训练，以获取到确定特征提取层的第一参数；锁定所述第一参数，将未标注数据和所述标注数据混合输入域分类网络，以获取到域分类器区分未标注数据和所述标注数据的第二参数；锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。

技术领域

本申请涉及到机器学习领域，特别是涉及到迁移学习方法、装置、计算机设备和存储介质。

背景技术

目前的深度学习框架下，需要大量的标注数据来训练模型，对数据进行标注的工作耗时长、成本高，耗费大量人力、物力和财力，即便如此，通过有限的标注数据训练得到的模型的泛化能力提升空间有限，只能实现同类型数据迁移，数据类型跨度大、区别大时，在新的数据集上的反馈效果将会大打折扣，这极大的限制了深度学习方法在业界的应用范围和推广速度。

发明内容

本申请的主要目的为提供一种迁移学习方法，旨在解决有限标注数据导致训练模型的泛化能力较差的技术问题。

本申请提供了一种应用于迁移学习网络的迁移学习方法，迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络，任务训练网络还包括任务训练模型，域分类网络还包括域分类器，所述方法包括：

将指定任务的标注数据输入所述任务训练模型进行模型训练，以获取到特征提取层的第一参数；

锁定所述第一参数，将未标注数据和所述标注数据混合输入所述域分类网络，以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数；

锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数；

基于所述第三参数，将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据，对所述未标注数据进行识别。

优选地，所述锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤，包括：

通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数。

优选地，所述通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤，包括：

修改所述域分类器的交叉熵LOSS函数，修改后的LOSS函数为：LOSS＝-(log2P)²-[log(2-2P)]²，其中P为二分类数据中的某一分类的标定；

锁定所述第二参数，将修改后的所述域分类器的LOSS函数和所述任务训练模型的LOSS函数相加得到LOSS函数之和；

通过所述LOSS函数之和梯度反向传播训练所述特征提取层；

训练至所述LOSS函数之和达到预设值时，确定所述第三参数。

优选地，所述锁定所述第二参数，所述域分类器联合所述任务训练模型共同训练所述特征提取层，以获取所述特征提取层不区分所述未标注数据和所述指定标注数据的第三参数的步骤之后，包括：

优化训练过程中的学习率和梯度比例；