[发明专利]用于机器翻译的神经网络模型压缩方法、装置及存储介质

说明书

本公开是关于一种用于机器翻译的神经网络模型压缩方法、装置及存储介质。机器翻译的神经网络模型压缩方法中，基于N个训练样本，获得训练后的第一教师模型以及训练后的第二教师模型，所述N为大于1的正整数；对于所述N个训练样本中的每一个分别确定所述第一教师模型的第一指导分量，以及所述第二教师模型的第二指导分量，根据所述第一指导分量和所述第二指导分量，确定与该训练样本对应的用于优化学生模型的子优化目标，并基于所述N个训练样本中的每一个以及与其对应的子优化目标，确定联合优化目标；基于所述联合优化目标训练学生模型。本公开可以更有效的将教师模型的知识迁移到学生模型中，改进学生模型的翻译质量。

技术领域

本公开涉及计算机技术领域，尤其涉及用于机器翻译的神经网络模型压缩方法、装置及存储介质。

背景技术

基于神经网络的深度学习已经在图像分类，机器翻译和语音识别等多个机器学习任务上取得良好了的性能，而其中利用神经网络模型进行机器翻译已经成为目前主流的机器翻译方法，具有广阔的学术和市场价值。

当前，对复杂神经网络模型进行高效压缩从而降低模型存储开销，提高模型推理速度，同时尽可能减少压缩对翻译质量的损害，成为将用于机器翻译的神经网络模型应用于移动终端上的关键技术，也是当前学术界和工业界研究的热点。

相关技术中，采用知识蒸馏(Knowledge Distillation)方法对用于机器翻译的神经网络模型进行压缩，既可以减小模型复杂度，又可以缓解模型压缩导致的预测精度下降的问题，成为目前主流的神经网络模型压缩方法。采用知识蒸馏方式对神经网络模型压缩可以理解为是使用一个高精度的大模型去指导小模型的训练，大模型又可称为教师模型，小模型又可称为学生模型。可以使用一个教师模型训练多个学生模型。

然而，常规用于压缩神经网络模型的知识蒸馏方法，信息迁移准确度较低，进而学生模型的翻译质量较低，利用神经网络模型进行机器翻译在移动终端上的翻译效果较差，影响用户体验。

发明内容

为克服相关技术中存在的问题，本公开提供一种用于机器翻译的神经网络模型压缩方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种用于机器翻译的神经网络模型压缩方法，包括：

基于N个训练样本，获得训练后的第一教师模型以及训练后的第二教师模型，所述N为大于1的正整数；对于所述N个训练样本中的每一个分别确定所述第一教师模型的第一指导分量，以及所述第二教师模型的第二指导分量，根据所述第一指导分量和所述第二指导分量，确定与该训练样本对应的用于优化学生模型的子优化目标，并基于所述N个训练样本中的每一个以及与其对应的子优化目标，确定联合优化目标；基于所述联合优化目标训练学生模型。

一种实施方式中，所述N个训练样本中的第n个训练样本包含由第n个源语言序列和第n个目标语言序列构成的双语句对，所述n为大于等于1且小于等于N的正整数；

所述基于N个训练样本，获得训练后的第一教师模型以及训练后的第二教师模型，包括：

基于所述N个训练样本，训练所述第一教师模型；基于所述N个训练样本，获得N个逆向训练样本，其中第n个逆向训练样本所包含的第n个逆向目标语言序列为第n个训练样本所包含的第n个目标语言序列的逆向序列；基于所述N个逆向训练样本，训练所述第二教师模型。

另一种实施方式中，所述对于第n个训练样本，分别确定与所述第一教师模型相关联的第一指导分量，以及与所述第二教师模型相关联的第二指导分量，包括：