[发明专利]用于机器翻译的神经网络模型压缩方法、装置及存储介质

权利要求书

1.一种用于机器翻译的神经网络模型压缩方法，其特征在于，包括：

基于N个训练样本，获得训练后的第一教师模型以及训练后的第二教师模型，所述N为大于1的正整数；

对于所述N个训练样本中的每一个分别确定所述第一教师模型的第一指导分量，以及所述第二教师模型的第二指导分量，根据所述第一指导分量和所述第二指导分量，确定与该训练样本对应的用于优化学生模型的子优化目标，并基于所述N个训练样本中的每一个以及与其对应的子优化目标，确定联合优化目标；

基于所述联合优化目标训练学生模型。

2.根据权利要求1所述的神经网络模型压缩方法，其特征在于，所述N个训练样本中的第n个训练样本包含由第n个源语言序列和第n个目标语言序列构成的双语句对，所述n为大于等于1且小于等于N的正整数；

所述基于N个训练样本，获得训练后的第一教师模型以及训练后的第二教师模型，包括：

基于所述N个训练样本，训练所述第一教师模型；

基于所述N个训练样本，获得N个逆向训练样本，其中第n个逆向训练样本所包含的第n个逆向目标语言序列为第n个训练样本所包含的第n个目标语言序列的逆向序列；

基于所述N个逆向训练样本，训练所述第二教师模型。

3.根据权利要求2所述的神经网络模型压缩方法，其特征在于，对于第n个训练样本，分别确定所述第一教师模型的第一指导分量，以及所述第二教师模型的第二指导分量，包括：

获取所述第一教师模型对于第n个目标语言序列的第一预测结果、所述第二教师模型对于第n个目标语言序列的逆向序列的第二预测结果、以及所述学生模型对于第n个目标语言序列的第三预测结果；

确定所述学生模型的所述第三预测结果相对于所述第一教师模型的所述第一预测结果的第一损失函数，作为所述第一指导分量；以及

确定所述学生模型的所述第三预测结果相对于所述第二教师模型的所述第二预测结果的第二损失函数，作为所述第二指导分量。

4.根据权利要求3所述的神经网络模型压缩方法，其特征在于，

所述确定所述学生模型的所述第三预测结果相对于所述第一教师模型的所述第一预测结果的第一损失函数，包括：

获取所述学生模型在对所述第n个目标语言序列所包含的每一个目标词汇进行预测时的第三概率分布、以及所述第一教师模型在对所述第n个目标语言序列所包含的每一个目标词汇进行预测时的第一概率分布，基于所述第三概率分布和所述第一概率分布确定所述第一损失函数；

所述确定所述学生模型的所述第三预测结果相对于所述第二教师模型的所述第二预测结果的第二损失函数，包括：

获取所述学生模型在对所述第n个目标语言序列所包含的每一个目标词汇进行预测时的第三概率分布、以及所述第二教师模型在对所述第n个目标语言序列的逆向序列所包含的每一个目标词汇进行预测时的第二概率分布，基于所述第三概率分布和所述第二概率分布确定所述第二损失函数。

5.根据权利要求1所述的神经网络模型压缩方法，其特征在于，对于第n个训练样本，根据所述第一指导分量和所述第二指导分量，确定与该训练样本对应的子优化目标，包括：

确定所述第一指导分量对应的第一权重，以及所述第二指导分量对应的第二权重；以及

获取所述学生模型对于所述第n个训练样本的自优化分量，并确定所述自优化分量对应的第三权重；

基于所述第一权重、所述第二权重以及所述第三权重，对所述第一指导分量、所述第二指导分量以及所述自优化分量进行加权求和，以获得所述子优化目标。

6.根据权利要求5所述的神经网络模型压缩方法，其特征在于，所述第一权重和所述第二权重之和为1。

7.根据权利要求5所述的神经网络模型压缩方法，其特征在于，所述学生模型对于所述第n个训练样本的自优化分量采用如下方式确定：

基于第n个训练样本目标语言序列长度，以及训练样本目标语言词表大小，确定所述学生模型对于所述第n个训练样本的负对数似然损失函数；

将所述负对数似然损失函数，作为所述自优化分量。