[发明专利]一种面向神经机器翻译的编码器-解码器框架预训练方法

说明书

本发明一种面向神经机器翻译的编码器‑解码器框架预训练方法，步骤为：构建海量的多语言文档级单语语料，在每个句子前面加入一个特殊的标识符表示该句的语言种类；对句对进行处理，得到训练数据；对不同语言的单语数据进行训练，得到收敛后的预训练模型参数；构建平行语料，使用预训练模型参数初始化神经机器翻译模型的参数；初始化后的神经机器翻译模型通过平行语料对模型参数进行微调，完成训练过程；在解码阶段，使用训练完成的神经机器翻译模型的编码器对源语句子进行编码，解码器解码生成目标语言句子。本发明使模型具备语言建模能力和语言生成能力，将预训练模型应用于神经机器翻译模型中，并且可以加快模型的收敛速度，提高模型的鲁棒性。

技术领域

本发明涉及一种编码器-解码器框架的预训练方法，具体为面向神经机器翻译的编码器-解码器框架预训练方法。

背景技术

在神经网络中，预训练方法是指通过海量的通用数据训练得到一个基础模型，这种通用且充分的数据能够鼓励模型在相同领域的下游任务上拥有很好的泛化能力。之后，针对下游任务，使用任务特定的数据对预训练好的模型进行微调，使模型更关注任务相关的特征，在该任务上具有更好的表现。在任务特定的数据量较小的情况下，预训练方法能够有效提升模型性能，而且由于预训练模型已经具备了通用的特征提取能力，微调模型能够达到更快的收敛速度和更强的鲁棒性。

在计算机视觉领域，预训练方法已经被广泛应用，然而在自然语言处理领域，人们对于预训练方法的研究才刚刚开始。最近，研究人员们提出了多种基于语言模型的预训练方法，比如ELMo、GPT和BERT等，这些预训练方法通过预训练语言模型任务，能够有效地应用于命名实体识别、文本蕴含、问答、情感分析和语义角色标注等多个任务上，而且都达到了当前最好的性能。因此，在机器翻译任务上使用预训练方法来提高性能是直觉的想法。

但存在的一个问题是，神经机器翻译模型基于编码器-解码器框架，而现有的预训练语言模型如GPT可以看作是神经机器翻译模型的解码器，BERT可以看作是神经机器翻译模型的编码器，两者的网络结构和神经机器翻译模型并不完全匹配，因此现如今比较流行的预训练语言模型无法直接应用到神经机器翻译模型上。

目前已经有一些预训练方法，可以集成现有预训练模型的知识到神经机器翻译模型中，这种方法可以为翻译模型提供额外信息，提高编码器的特征提取能力，从而有效地提高模型性能。但这种集成方法有一个重要的不足，即只能将预训练模型的部分信息应用到神经机器翻译模型中，或是只能应用到神经机器翻译模型的部分模块，无法初始化整个模型，模型仍有部分参数需要从零开始学习，限制了预训练模型的收益。

发明内容

针对现有技术中预训练方法无法完整有效地应用于神经机器翻译模型等不足，本发明要解决的技术问题是提供一种面向神经机器翻译的编码器-解码器框架预训练方法，利用海量的文档级单语语料，预训练下一句生成任务，然后使用预训练模型的参数初始化神经机器翻译模型，从而显著提高模型的翻译质量。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种面向神经机器翻译的编码器-解码器框架预训练方法，包括以下步骤：

1)构建海量的多语言文档级单语语料，将其处理为前句，后句形式的句对，前句和后句为同一种语言，在每个句子前面加入一个特殊的标识符，表示该句的语言种类；

2)对句对进行清洗过滤、分词、子词切分预处理，得到训练数据；

3)使用训练数据通过下一句生成任务预训练编码器-解码器框架，编码器提取前句中的信息，将其编码为一个向量表示，解码器根据编码器提取到的信息，解码生成相同语言的后句内容，模型通过共享参数对不同语言的单语数据进行训练，得到收敛后的预训练模型参数；

4)构建平行语料，和预训练模型使用同样的分词和子词切分方式，并且使用相同的模型结构，使用预训练模型参数初始化神经机器翻译模型的参数；