[发明专利]融合BERT与词嵌入双重表征的汉越神经机器翻译方法

说明书

本发明涉及融合BERT与词嵌入双重表征的汉越神经机器翻译方法，属于自然语言处理技术领域。本发明使用预训练语言模型和词嵌入分别对源语言序列进行表示学习，通过注意力机制建立两种表征之间的联系后进行拼接操作得到双重表征向量，再经过线性变换和自注意力机制，使词嵌入表征和预训练语言模型表征完全自适应融合在一起，得到对输入文本的充分表征，以此提高神经机器翻译模型性能。本发明提出的融合BERT与词嵌入双重表征的汉越神经机器翻译方法，解决了因为越南语是低资源语言而导致汉语与越南语的神经机器翻译的性能并不理想的问题，显著提高汉越神经机器翻译模型的质量。

技术领域

本发明涉及融合BERT与词嵌入双重表征的汉越神经机器翻译方法，属于自然语言处理技术领域。

背景技术

汉语-越南语的机器翻译需求不断增加,神经机器翻译是目前主流的机器翻译方法，但在汉-越这类低资源的机器翻译任务中，由于双语平行语料规模小，神经机器翻译的效果并不理想。考虑到单语语料丰富，海量的单语语料进行自监督学习能够得到包含丰富语言信息的预训练语言模型，将该预训练语言模型融入神经机器翻译系统对低资源的机器翻译具有重要意义，故提出了融合BERT与词嵌入双重表征的汉越神经机器翻译方法。

目前，BERT预训练语言模型在句法分析、文本分类等NLP任务中取得优异成绩，证明该语言模型内包含丰富的语言信息，这些语言信息包含在编码后得到的表征向量中，无法进行直接观察，因此Jinhua Zhu等人提出BERT-fused算法实现把BERT预训练语言模型编码输出的隐状态随机融入到Transformer模型的编码器和解码器结构中，将BERT预训练语言模型输出的隐状态向量和词嵌入层输出隐状态向量通过随机概率加权融合的方式，以此生成包含预训练语言模型内语言信息和词嵌入层语言信息的隐状态，实现将BERT预训练语言模型中包含的语言信息用于神经机器翻译，该方法在多项公开数据集的翻译任务上相较于Transformer模型取得了较大的提升，证明BERT预训练语言模型作为外部知识库融入神经机器翻译模型的可行性。但是Jinhua Zhu等人的方法依赖于对预训练的机器翻译模型做参数初始化，每一层都需要引入预训练语言模型的知识，而且他们的特征融合方式是简单的拼接，使用交叉注意力机制使预训练语言模型信息受到词嵌入信息，最终特征融合的时候用的是随机权重相加的方式。

因此，本发明针对如何在低资源神经机器翻译中有效融入BERT预训练语言模型内语言信息方向开展研究工作。

发明内容

本发明针对汉语-越南语神经机器翻译因双语平行句对数据不足限制翻译性能的问题,提出了融合BERT与词嵌入双重表征的汉越神经机器翻译方法。该方法对源语言序列分别进行BERT预训练语言模型表征和词嵌入表征，再利用注意力机制实现双重表征的自适应动态融合，增强源语言的表示学习能力，并在汉语-越南语、英语-越南语翻译任务上进行了多组实验,结果表明,使用BERT预训练模型表征与词嵌入表征的自适应动态融合，能够有效将BERT预训练语言模型内的语言信息融入神经机器翻译模型中，有效提升了汉语-越南语神经机器翻译模型性能。

本发明的技术方案是：基于融合BERT与词嵌入双重表征的汉越神经机器翻译方法，所述基于融合BERT与词嵌入双重表征的汉越神经机器翻译方法的具体步骤如下：

Step1、收集用于训练平行句对抽取模型的汉越平行语料；

Step2、收集已经预训练的中文BERT预训练语言模型参数以及词典；

Step3、对源语言序列分别进行BERT预训练语言模型预训练表征与词嵌入表征；

Step4、使用交叉注意力机制使经过BERT预训练语言模型预训练的源语言序列表征受到词嵌入表征的约束，将经过BERT预训练语言模型训练后的源语言序列表征和词嵌入表征进行拼接融合得到融合表征作为编码器的输入；

Step5、使用编码器使得融合表征中两种不同来源的表征达到深层动态交互融合；