[发明专利]一种面向神经机器翻译的编码器-解码器框架预训练方法

权利要求书

1.一种面向神经机器翻译的编码器-解码器框架预训练方法，其特征在于包括以下步骤：

1)构建海量的多语言文档级单语语料，将其处理为前句，后句形式的句对，前句和后句为同一种语言，在每个句子前面加入一个特殊的标识符，表示该句的语言种类；

2)对句对进行清洗过滤、分词、子词切分预处理，得到训练数据；

3)使用训练数据通过下一句生成任务预训练编码器-解码器模型，编码器提取前句中的信息，将其编码为一个向量表示，解码器根据编码器提取到的信息，解码生成相同语言的后句内容，预训练编码器-解码器模型通过共享参数对不同语言的单语数据进行训练，得到收敛后的预训练模型参数；

4)构建平行语料，再和预训练编码器-解码器模型使用同样的分词和子词切分方式，并且使用相同的模型结构，使用预训练模型参数初始化神经机器翻译模型的参数；

5)初始化后的神经机器翻译模型通过平行语料对模型参数进行微调，完成训练过程；

6)在解码阶段，使用训练完成的神经机器翻译模型的编码器对源语句子进行编码，解码器解码生成目标语言句子；

步骤3)中，使用训练数据通过下一句生成任务预训练编码器-解码器模型，模型通过共享参数对不同语言的单语数据进行训练，具体为：

301)将前句送入模型的编码器中，编码器提取前句中的信息，将其编码为一个向量表示，解码器根据提取的信息生成后句的内容，增加编码器和解码器之间的相关性；

302)对多语言的训练语料使用共享的词表和权重，减小不同语言间表示的区别，共享子词单元，学习到不同语言之间的联系；使用同一个模型同时预训练多语言的下一句生成任务，具备提取不同语言序列特征的能力和生成不同语言序列的能力；

303)针对不同语言的输入，在编码阶段对语言的特性进行提取，在解码阶段针对语言的特性生成不同语言的输出；通过语言标识方法，模型在提取句子特征的过程中，针对不同的语言进行区分；

304)在编码器的词嵌入层加入语言嵌入，表示解码器要生成的目标语言类别。

2.按权利要求1所述的面向神经机器翻译的编码器-解码器框架预训练方法，其特征在于：步骤1)中，构建海量的多语言文档级单语语料，将其处理为前句，后句形式的句对，前句和后句为同一种语言，在每个句子前面加入一个特殊的标识符，表示该句的语种，具体为：

101)对于文档级单语语料，转化为前句，后句形式的句对；

102)在每个句子前面加入一个特殊的标识符来表示这个句子对应的语种，通过这种处理，在训练过程中，模型就可以识别到输入和输出对应的语言种类，从而进行特定的编码和生成。

3.按权利要求1所述的面向神经机器翻译的编码器-解码器框架预训练方法，其特征在于：步骤2)中，对文档级单语语料进行清洗过滤、分词、子词切分预处理，文档级单语语料的前句和后句包含部分相近的语义信息，去除长度大于250个字符的句子，并且使用长度比过滤去除长度比大于1:1.5的句对。

4.按权利要求1所述的面向神经机器翻译的编码器-解码器框架预训练方法，其特征在于：步骤4)中，构建平行语料，和预训练模型使用同样的分词和子词切分方式，并且使用相同的模型结构，使用预训练模型参数初始化神经机器翻译模型的参数，具体为：

401)采用同样的预处理流程，包括分词和字词切分方式，使神经机器翻译模型和预训练模型的词表完全一致，减小预训练模型和神经机器翻译模型的差异，减少未登录词的出现次数；

402)神经机器翻译模型需要和预训练模型使用相同的模型结构，将预训练模型的参数完整迁移到神经机器翻译模型中，最大化预训练方法带来的收益。

5.按权利要求1所述的面向神经机器翻译的编码器-解码器框架预训练方法，其特征在于：步骤5)中，神经机器翻译模型通过平行语料对模型参数进行微调，完成训练过程，在微调过程中，模型使用0.0001～0.0005的学习率进行参数更新，从而达到更好的收敛状态。

6.按权利要求1所述的面向神经机器翻译的编码器-解码器框架预训练方法，其特征在于：步骤6)中解码阶段，使用训练完成的神经机器翻译模型的编码器对源语句子进行编码，解码器解码生成目标语言句子，具体为：

601)在源语句子前面加上语言标识，标识对应的语言种类，并根据要生成的语言种类得到对应的语言嵌入，在编码器的输入层和词嵌入、位置嵌入进行加和，使用编码器对该句子进行编码，提取源语言句子中的信息；

602)根据要生成的目标语言类别，设置解码过程的起始符，根据设置的起始符，解码器识别要生成的语言类别，然后通过贪婪搜索或者束搜索的方式，生成目标语言的翻译结果。