[发明专利]神经网络机器翻译训练方法、系统、介质、设备及应用

说明书

本发明公开了一种神经网络机器翻译训练方法、系统、介质、设备，属于机器翻译技术领域，所述神经网络机器翻译训练方法包括：训练基于变压器的双向编码器BERT的XLM模型；使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练；使用训练得到的模型翻译双语，并构建伪平行数据；使用伪平行数据和三语语料，基于XLM模型继续进行增量训练；使用云数据库对XLM模型进行数据补充，并继续进行增量训练；本发明通过基于XLM模型，通过对多语料进行防干扰翻译训练，在多语料同时进行时，能够有效进行翻译，有效利用双语的信息，使得小语种到英语的模型提升到可用的程度，减少使用多语言模型的干扰，提高小语种机器翻译可用的精准度。

技术领域

本发明属于机器翻译技术领域，具体涉及一种神经网络机器翻译训练方法、系统、介质、设备。

背景技术

机器翻译，又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。

同时，机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。

现有技术存在以下问题：现有的神经网络机器翻译训练方法、系统、介质、设备只能进行双语料双向翻译，对于两种以上语料无法进行翻译，造成使用不便，同时训练时无法进行数据更新，造成翻译存在漏洞，影响使用。

发明内容

为解决上述背景技术中提出的问题。本发明提供了神经网络机器翻译训练方法、系统、介质、设备，尤其涉及一种多语言多向自回归变压器XLM预训练模型的神经网络机器翻译训练方法及系统。

为实现上述目的，本发明提供如下技术方案：一种神经网络机器翻译训练方法，所述神经网络机器翻译训练方法包括：

步骤一，训练基于变压器的双向编码器BERT的XLM模型；

步骤二，使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练；

步骤三，使用训练得到的模型翻译双语，并构建伪平行数据；

步骤四，使用伪平行数据和三语语料，基于XLM模型继续进行增量训练；

步骤五，使用云数据库对XLM模型进行数据补充，并继续进行增量训练；

步骤六，重复使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练、使用训练得到的模型翻译双语，并构建伪平行数据，使用伪平行数据和三语语料，基于XLM模型继续进行增量训练，使用云数据库对XLM模型进行数据补充，并继续进行增量训练，直到没有提升为止；

步骤七，使用最新的伪平行数据和三语语料，从零开始训练并构建一个transformer结构的模型；

步骤八，使用构建得到的模型，翻译双语，构建新的伪平行数据；

步骤九，使用伪平行数据和三语语料，从零开始再次训练一个transformer结构的模型；

步骤十，重复使用最新的伪平行数据和三语语料，从零开始训练一个transformer结构的模型、使用构建得到的模型，翻译单语，构建新的伪平行数据、使用伪平行数据和三语语料，从零开始再次训练一个transformer结构的模型，直到没有提升为止；

步骤十一，根据最新的伪平行数据和三语语料，利用零命中技术，训练直接到中文的模型；

步骤十二，翻译时，在原文前加入..to.zh..标签，直接翻译至中文。

进一步的，所述训练基于变压器的双向编码器BERT的XLM模型，包括：