[发明专利]神经网络机器翻译训练方法、系统、介质、设备及应用

权利要求书

1.一种神经网络机器翻译训练方法，其特征在于：所述神经网络机器翻译训练方法包括：

训练基于变压器的双向编码器BERT的XLM模型；

使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练；

使用训练得到的模型翻译双语，并构建伪平行数据；

使用伪平行数据和三语语料，基于XLM模型继续进行增量训练；

使用云数据库对XLM模型进行数据补充，并继续进行增量训练；

重复使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练、使用训练得到的模型翻译双语，并构建伪平行数据，使用伪平行数据和三语语料，基于XLM模型继续进行增量训练，使用云数据库对XLM模型进行数据补充，并继续进行增量训练，直到没有提升为止；

使用最新的伪平行数据和三语语料，从零开始训练并构建一个transformer结构的模型；

使用构建得到的模型，翻译双语，构建新的伪平行数据；

使用伪平行数据和三语语料，从零开始再次训练一个transformer结构的模型；

重复使用最新的伪平行数据和三语语料，从零开始训练一个transformer结构的模型、使用构建得到的模型，翻译单语，构建新的伪平行数据、使用伪平行数据和三语语料，从零开始再次训练一个transformer结构的模型，直到没有提升为止；

根据最新的伪平行数据和三语语料，利用零命中技术，训练直接到中文的模型；

翻译时，在原文前加入..to.zh..标签，直接翻译至中文。

2.根据权利要求1所述的神经网络机器翻译训练方法，其特征在于：所述训练基于变压器的双向编码器BERT的XLM模型，包括：

(1)在基于变压器的双向编码器BERT的基础上，添加自回归的解码器；

(2)使用多个语种训练，即可得到最后的XLM模型。

3.根据权利要求1所述的神经网络机器翻译训练方法，其特征在于：添加自回归的解码器的双向编码器BERT输入多语种的双语，在每个输入加入语种的识别标识。

4.根据权利要求1所述的神经网络机器翻译训练方法，其特征在于：所述输入多语种的双语的处理包括词屏蔽、词删除、句子置换、文档置换和文本填充，以及翻译语料的类似词句的特别标记。

5.根据权利要求1所述的神经网络机器翻译训练方法，其特征在于：词表是基于翻译双语构建得到的。

6.一种计算机设备，其特征在于：所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

训练基于变压器的双向编码器BERT的XLM模型；

使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练；

使用训练得到的模型翻译双语，并构建伪平行数据；

使用伪平行数据和三语语料，基于XLM模型继续进行增量训练；

使用云数据库对XLM模型进行数据补充，并继续进行增量训练；

重复使用三语语料，比对类似翻译语料，基于已经训练好的XLM模型进行增量训练、使用训练得到的模型翻译双语，并构建伪平行数据，使用伪平行数据和三语语料，基于XLM模型继续进行增量训练，使用云数据库对XLM模型进行数据补充，并继续进行增量训练，直到没有提升为止；

使用最新的伪平行数据和三语语料，从零开始训练并构建一个transformer结构的模型；

使用构建得到的模型，翻译双语，构建新的伪平行数据；

使用伪平行数据和三语语料，从零开始再次训练一个transformer结构的模型；

重复使用最新的伪平行数据和三语语料，从零开始训练一个transformer结构的模型、使用构建得到的模型，翻译单语，构建新的伪平行数据、使用伪平行数据和三语语料，从零开始再次训练一个transformer结构的模型，直到没有提升为止；

根据最新的伪平行数据和三语语料，利用零命中技术，训练直接到中文的模型；

翻译时，在原文前加入..to.zh..标签，直接翻译至中文。