[发明专利]基于知识蒸馏的模型训练方法、装置、终端及存储介质

说明书

本发明公开了一种基于知识蒸馏的模型训练方法、装置、终端及存储介质，其中方法包括：获取预先训练好的第一模型、待训练的第二模型和训练样本集，第一模型对应的模态与第二模型对应的模态不同；将训练样本输入至第一模型和第二模型，得到第一模型嵌入层的第一表示和第一模型中间层的第一输出、以及第二模型嵌入层的第二表示和第二模型中间层的第二输出；利用第一表示和第二表示进行对比自监督学习，再根据对比自监督学习结果更新第二模型嵌入层的参数，利用第一输出和第二输出进行知识蒸馏，再根据知识蒸馏结果更新第二模型中间层的参数，得到训练好的第二模型。通过上述方式，本发明能够针对不同模态的模型进行知识蒸馏，以快速完成模型的训练。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于知识蒸馏的模型训练方法、装置、终端及存储介质。

背景技术

随着人工智能识别的发展，普遍采用模型进行数据处理、图像识别等。通常地，对于不同应用场景有定制化模型需求的时候，技术人员选择的模型训练方式大致有两种：一、使用通用数据集训练好的通用模型修改最后输出层的类别数量，然后使用自己的数据集对模型参数进行重新调整；二、自己设计结构简单的模型，使用自己的数据集从头训练模型参数。其中，前一种方法使用已训练好的模型参数继续训练，能够加快训练收敛，也能保证模型精度，但是模型较大参数众多，对于小分类任务来说“大材小用”，而且不利于部署在计算力有限的终端设备上。第二种方法可以定制结构简单参数较少的小模型，但是模型参数需要从头训练，势必会减慢收敛速度，也不能保证模型的精度，而且训练数据集较小的情况下，还容易造成模型过拟合。

目前，针对于上述问题提出了一种知识蒸馏技术。知识蒸馏是一种模型压缩方法，在教师-学生框架中，将复杂、学习能力强的教师模型学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的学生模型。简单的说就是用新的小模型去学习大模型的预测结果，复杂模型或者组合模型的中“知识”通过合适的方式迁移到一个相对简单模型之中，进而方便模型推广部署。

但是，现有的知识蒸馏均是针对于相同模态的教师模型和学生模型，而无法实现不同模态模型之间的知识蒸馏。

发明内容

本申请提供一种基于知识蒸馏的模型训练方法、装置、终端及存储介质，以解决现有的知识蒸馏技术无法实现不同模态模型之间的知识蒸馏的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于知识蒸馏的模型训练方法，包括：获取预先训练好的第一模型、待训练的第二模型和训练样本集，第一模型对应第一模态，第二模型对应第二模态，第一模态与第二模态不同；将训练样本分别输入至第一模型和第二模型，得到第一模型嵌入层的第一表示和第一模型中间层的第一输出、以及第二模型嵌入层的第二表示和第二模型中间层的第二输出；利用第一表示和第二表示进行对比自监督学习，得到对比自监督学习结果；利用第一输出和第二输出进行知识蒸馏，得到知识蒸馏结果；根据对比自监督学习结果更新第二模型嵌入层的参数，并根据知识蒸馏结果更新第二模型中间层的参数，得到训练好的第二模型。

作为本申请的进一步改进，根据对比自监督学习结果更新第二模型嵌入层的参数，包括：基于对比自监督学习结果计算第一表示与第二表示之间的互信息，互信息的计算公式为：

其中，l_MI为所述互信息，P_(p,g|c＝1)为所述第一表示与所述第二表示对应于相同的答题式的条件概率，P_(p,g|c＝0)为所述第一表示与所述第二表示对应于不同的答题式的条件概率，E表示求均值，sp为softplus函数，P_text为所述第一表示，P_graph为所述第二表示，T(P_text,P_graph)是对比自监督学习的结果；

根据互信息更新第二模型嵌入层的参数。