[发明专利]模型蒸馏方法、装置、设备及存储介质

权利要求书

1.一种模型蒸馏方法，其特征在于，所述方法包括：

获取预训练模型、学生模型、多个带标注的训练样本、多个未标注的训练样本，所述预训练模型是基于Bert网络训练得到的模型；

采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型；

采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型；

采用所述带标注的训练样本对所述第二次蒸馏后的学生模型进行分层蒸馏学习，得到训练好的学生模型。

2.根据权利要求1所述的模型蒸馏方法，其特征在于，所述采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型的步骤，包括：

将所述未标注的训练样本输入所述预训练模型进行评分预测，获取所述预训练模型的评分预测层输出的第一预测评分；

将所述未标注的训练样本输入所述学生模型的进行评分预测，得到第二预测评分；

将所述第一预测评分、所述第二预测评分输入第一损失函数进行计算，得到第一损失值，根据所述第一损失值更新所述学生模型的所有参数，将更新参数后的所述学生模型用于下一次计算所述第二预测评分；

重复执行上述方法步骤直至所述第一损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述第一损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述学生模型，确定为所述第一次蒸馏后的学生模型。

3.根据权利要求2所述的模型蒸馏方法，其特征在于，所述将所述第一预测评分、所述第二预测评分输入第一损失函数进行计算，得到第一损失值的步骤，包括：

将所述第一预测评分、所述第二预测评分输入KL散度损失函数进行计算，得到所述第一损失值。

4.根据权利要求1所述的模型蒸馏方法，其特征在于，所述采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型的步骤，包括：

将所述未标注的训练样本输入所述预训练模型进行概率预测，获取所述预训练模型的概率预测层输出的第一预测概率；

将所述未标注的训练样本输入所述第一次蒸馏后的学生模型进行概率预测，得到第二预测概率；

将所述第一预测概率、所述第二预测概率输入第二损失函数进行计算，得到第二损失值，根据所述第二损失值按第一预设参数分层更新规则更新所述第一次蒸馏后的学生模型的参数，将更新参数后的所述第一次蒸馏后的学生模型用于下一次计算所述第二预测概率；

重复执行上述方法步骤直至所述第二损失值达到第三收敛条件或迭代次数达到第四收敛条件，将所述第二损失值达到第三收敛条件或迭代次数达到第四收敛条件的所述第一次蒸馏后的学生模型，确定为所述第二次蒸馏后的学生模型。

5.根据权利要求4所述的模型蒸馏方法，其特征在于，所述将所述第一预测概率、所述第二预测概率输入第二损失函数进行计算，得到第二损失值，根据所述第二损失值按第一预设参数分层更新规则更新所述第一次蒸馏后的学生模型的参数的步骤，包括：

将所述第一预测概率、所述第二预测概率输入MSE损失函数进行计算，得到所述第二损失值；

当所述第二损失值中的Dense层参数未达到第一Dense层收敛条件时，根据所述第二损失值中的Dense层参数更新所述第一次蒸馏后的学生模型的Dense层的参数，否则，当所述第二损失值中的BiLSTM层参数未达到第一BiLSTM层收敛条件时，根据所述第二损失值中的BiLSTM层参数更新所述第一次蒸馏后的学生模型的BiLSTM层的参数，否则，根据所述第二损失值中的Embedding层参数更新所述第一次蒸馏后的学生模型的Embedding层的参数。