[发明专利]一种面向小语种语言的神经机器翻译方法

权利要求书

1.一种面向小语种语言的神经机器翻译方法，其特征在于，

通过以下步骤构建神经机器翻译模型以及进行训练：

步骤1、获取单语语料并进行预处理；

步骤2、利用单语语料分别训练源语言和目标语言的语言模型；

步骤3、利用小语种语言的平行语料库中的双语平行语料在源语言和目标语言的语言模型中的编码结果，分别训练用于将其中一种语言的编码结果映射到另一种语言空间中的映射器；

步骤4、利用单语语料训练鉴别器模型；

步骤5、利用语言模型、映射器、鉴别器模型、双语平行语料、单语语料训练翻译模型；

步骤2具体包括：

步骤2.1、为源语言和目标语言句子添加噪声；

步骤2.2、利用Transformer模型分别搭建源语言的语言模型和目标语言的语言模型；

步骤2.3、利用添加噪声后的源语言句子和未添加噪声的源语言句子构成源序列和目标序列，用于训练源语言的语言模型；利用添加噪声后的目标语言句子和未添加噪声的目标语言句子构成的源序列和目标语言序列，用于训练目标语言的语言模型；

步骤2.4、将小语种语言的平行语料库中的双语平行语料分别同步输入到源语言的语言模型和目标语言的语言模型中进行编码，两个语言模型的编码结果分别构成h1,h2两个序列，对(h1,h2)和(h2,h1)的集合进行保存；

步骤4具体包括：

步骤4.1、利用源语言的单语语料和目标语言的单语语料构建训练数据，其中，源语言的单语语料和目标语言的单语语料均包含未添加噪声和已添加噪声的句子；

步骤4.2、利用LSTM搭建一个n:1型网络模型作为鉴别器模型；

步骤4.3、利用步骤4.1中的训练数据对鉴别器模型进行训练；

步骤5具体包括：

步骤5.1、搭建源-目标和目标-源两个翻译模型：

其中，源-目标翻译模型的编码器、解码器分别由源语言的语言模型的编码器和目标语言的语言模型的解码器来构建，源-目标语言映射器添加在源-目标语言翻译模型的编码器、解码器中间；

目标-源翻译模型的编码器、解码器分别由目标语言的语言模型的编码器和源语言的语言模型的解码器来构建，目标-源语言映射器添加在目标-源语言翻译模型的编码器、解码器中间；

步骤5.2、利用源-目标平行语料训练源-目标翻译模型，利用目标-源平行语料训练目标-源翻译模型，完成两个翻译模型的初始化；

步骤5.3、分别利用源语言和目标语言的单语语料，通过输入相应的翻译模型得到相应的输出，并且利用鉴别器为翻译模型添加相似度损失；

步骤5.4、利用步骤5.3中两个翻译模型中的其中一个模型的输入和输出构成语料对，作为另一个翻译模型的输入，利用另一个翻译模型进行回译。

2.如权利要求1所述的一种面向小语种语言的神经机器翻译方法，其特征在于，

步骤1具体包括：

步骤1.1、利用爬虫工具爬取源语言和目标语言句子，并进行筛选，剔除长度超过阈值的句子，获得源语言和目标语言的单语语料；

步骤1.2、利用分词工具对源语言和目标语言的单语语料进行分词，并且使用BPE技术结合Word2Vec技术学习词向量，然后利用词向量将源语言和目标语言的单语语料以及小语种语言的平行语料库中的双语平行语料的句子进行向量化。

3.如权利要求2所述的一种面向小语种语言的神经机器翻译方法，其特征在于，

步骤1.2中所述使用BPE技术结合Word2Vec技术学习词向量，包括：

首先利用BPE技术对分词后的单语语料进行处理，包括学习子词、创建训练集词表、应用训练集词表到验证集和测试集；然后利用Word2Vec中的Skip-gram模式学习词向量。

4.如权利要求1所述的一种面向小语种语言的神经机器翻译方法，其特征在于，

步骤2.1中，为源语言和目标语言句子添加噪声的方式为：

按照一定概率删除或随机替换句子中的词，或者按照一定规则进行乱序。

5.如权利要求1所述的一种面向小语种语言的神经机器翻译方法，其特征在于，

步骤3具体包括：

步骤3.1、利用LSTM长短时记忆网络搭建源-目标语言映射器和目标-源语言映射器，分别对应将源语言的语言模型的编码结果映射到目标语言空间及将目标语言的语言模型的编码结果映射到源语言空间；

步骤3.2、利用(h1,h2)和(h2,h1)分别对搭建的两个映射器进行训练，完成两个映射器的初始化。