[发明专利]基于预训练模型的机器翻译方法及系统

权利要求书

1.一种基于预训练模型的机器翻译方法，其特征在于，包括：

对原第一语言语料库中的部分语料数据进行破坏，将破坏后的第一语言语料库中的语料数据作为第一样本，将所述第一样本对应的所述原第一语言语料库中的语料数据作为第一样本标签，对第一预训练模型进行预训练，获取第二预训练模型；

对原第二语言语料库中的部分语料数据进行破坏，将破坏后的第二语言语料库中的语料数据作为第二样本，将所述第二样本对应的所述原第二语言语料库中的语料数据作为第二样本标签，对所述第二预训练模型进行预训练，获取第三预训练模型；

对原第一双语平行语料库中第一语言的部分语料数据进行破坏，将破坏后的第一双语平行语料库中第一语言和第二语言的语料数据作为第三样本，将所述第三样本对应的所述原第一双语平行语料库中第一语言的语料数据作为第三样本标签，对所述第三预训练模型进行预训练，获取第四预训练模型；

对所述原第一双语平行语料库中第二语言的部分语料数据进行破坏，将破坏后的第一双语平行语料库中第一语言和第二语言的语料数据作为第四样本，将所述第四样本对应的所述原第一双语平行语料库中第二语言的语料数据作为第四样本标签，对所述第四预训练模型进行预训练，获取第五预训练模型；

基于所述第五预训练模型对辅助翻译模型进行训练，使用训练后的所述辅助翻译模型对所述第一语言或第二语言的待翻译文本进行翻译，获取所述待翻译文本的译文。

2.根据权利要求1所述的基于预训练模型的机器翻译方法，其特征在于，所述将破坏后的第一语言语料库中的语料数据作为第一样本，将所述第一样本对应的所述原第一语言语料库中的语料数据作为第一样本标签，对第一预训练模型进行预训练，获取第二预训练模型，包括：

在所述破坏后的第一语言语料库中每条语料数据的起始位置添加第一语言标签；

将所述破坏后的第一语言语料库中添加第一语言标签的语料数据作为所述第一样本，将所述第一样本对应的原第一语言语料库中的语料数据作为所述第一样本标签，对所述第一预训练模型进行预训练，获取所述第二预训练模型。

3.根据权利要求1所述的基于预训练模型的机器翻译方法，其特征在于，所述辅助翻译模型为自动化后编辑APE模型、互动翻译Auto Suggest模型和质量评估QE模型。

4.根据权利要求3所述的基于预训练模型的机器翻译方法，其特征在于，所述基于所述第五预训练模型对辅助翻译模型进行训练，包括：

当所述辅助翻译模型为所述APE模型时，使用所述第五预训练模型的参数对所述APE模型的参数进行初始化；

将原第二双语平行语料库中部分第一语言原文和基于机器翻译模型预先获取的所述部分第一语言原文的译文作为第五样本，将所述原第二双语平行语料库中人工翻译的所述部分第一语言原文的译文作为第五样本标签，对初始化后的APE模型进行训练；其中，所述第一语言原文的译文为所述第二语言；

将所述原第二双语平行语料库中部分第二语言原文和基于机器翻译模型预先获取的所述部分第二语言原文的译文作为第六样本，将所述原第二双语平行语料库中人工翻译的所述部分第二语言原文的译文作为第六样本标签，对训练后的APE模型进行训练；其中，所述第二语言原文的译文为所述第一语言。