[发明专利]基于预训练模型的机器翻译方法及系统

说明书

本发明提供一种基于预训练模型的机器翻译方法及系统，包括：使用破坏前后的第一语言语料库中的语料数据训练第一预训练模型，获取第二预训练模型；使用破坏前后的第二语言语料库中的语料数据训练第二预训练模型，获取第三预训练模型；使用破坏后的第一双语平行语料库中的语料数据和原第一双语平行语料库中第一语言的语料数据训练第三预训练模型，获取第四预训练模型；使用破坏后的第一双语平行语料库中的语料数据和原第一双语平行语料库中第二语言的语料数据训练第四预训练模型，获取第五预训练模型；基于第五预训练模型对辅助翻译模型训练，使用训练的辅助翻译模型对待翻译文本翻译，获取待翻译文本的译文。本发明实现提高预训练模型的适用性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于预训练模型的机器翻译方法及系统。

背景技术

现有的NLP(Natural Language Processing，自然语言处理)模型包含的参数可以达到上百万。因此，训练出具有良好性能的NLP模型需要大量的训练样本和标签数据。通常，采用人工对训练样本进行标注。因此，获取大量的标签数据，需要较高的人工成本。

在此背景下，预训练加精调的模式广泛应用于NLP模型训练。首先利用成本较低且容易获取的无标签数据基于自训练方法训练一个预训练模型。通过这种方式，预训练模型可以学习到语言学的通用知识。因此，针对不同的下游任务，可以利用其相关的标签数据对其相关的参数进行精调，使得训练的NLP模型具有良好性能。

现有技术中对NLP模型进行训练时，搜集大量的单语言语料，再利用这些语料对BERT(Bidirectional Encoder Representations from Transformers，双向编码器表示的翻译器)、GPT(Generative Pre-Training，生成式预训练)和XLNET(排列语言模型)等预训练模型进行训练，然后再根据下游任务对预训练模型进行微调。这种方法利用单语言语料对模型进行预训练，导致预训练模型只适用于对单一语言数据进行处理，适用性差。

发明内容

本发明提供一种基于预训练模型的机器翻译方法及系统，用以解决现有技术中预训练模型只适用于对单一语言数据进行处理的模型，适用性差的缺陷，实现提高预训练模型的适用性。

本发明提供一种基于预训练模型的机器翻译方法，包括：

对原第一语言语料库中的部分语料数据进行破坏，将破坏后的第一语言语料库中的语料数据作为第一样本，将所述第一样本对应的所述原第一语言语料库中的语料数据作为第一样本标签，对第一预训练模型进行预训练，获取第二预训练模型；

对原第二语言语料库中的部分语料数据进行破坏，将破坏后的第二语言语料库中的语料数据作为第二样本，将所述第二样本对应的所述原第二语言语料库中的语料数据作为第二样本标签，对所述第二预训练模型进行预训练，获取第三预训练模型；

对原第一双语平行语料库中第一语言的部分语料数据进行破坏，将破坏后的第一双语平行语料库中第一语言和第二语言的语料数据作为第三样本，将所述第三样本对应的所述原第一双语平行语料库中第一语言的语料数据作为第三样本标签，对所述第三预训练模型进行预训练，获取第四预训练模型；

对所述原第一双语平行语料库中第二语言的部分语料数据进行破坏，将破坏后的第一双语平行语料库中第一语言和第二语言的语料数据作为第四样本，将所述第四样本对应的所述原第一双语平行语料库中第二语言的语料数据作为第四样本标签，对所述第四预训练模型进行预训练，获取第五预训练模型；

基于所述第五预训练模型对辅助翻译模型进行训练，使用训练后的所述辅助翻译模型对所述第一语言或第二语言的待翻译文本进行翻译，获取所述待翻译文本的译文。