[发明专利]一种基于上下文记忆网络的篇章级神经机器翻译方法

说明书

本发明公开一种基于上下文记忆网络的篇章级神经机器翻译方法，其步骤为：构建上下文记忆网络的Transformer模型；构建平行语料库，得到模型的词嵌入输入；在编码器端，结合上下文记忆模块对源语输入进行编码表示，将当前的编码表示更新到上下文记忆模块中；在解码器端，结合源语编码表示对目标语进行处理，得到长度一致的向量表示；将解码器的输出结果经过softmax归一化操作后得到预测的分布，完成模型的训练过程；利用训练好的模型进行篇章级机器翻译，逐句送入模型进行翻译，通过自回归的方式得到翻译结果。本发明通过增加上下文记忆模块用来动态维持上下文记忆信息，引入相关上下文信息，解决翻译结果上下文不一致的问题。

技术领域

本发明涉及一种神经机器翻译技术，具体为一种基于上下文记忆网络的篇章级神经机器翻译方法。

背景技术

机器翻译(Machine Translation，简称MT)是采用计算机进行自然语言之间相互翻译的一门实验学科。利用机器翻译技术，可以将一门源语言自动地转化为目标语言。机器翻译作为消除人们跨语言交流障碍的关键技术，一直是自然语言处理研究的重要组成部分。相比于人工翻译，机器翻译效率更高并且成本更低，对于促进民族团结和文化交流有着重要意义。机器翻译技术可以概括为基于理性主义的方法和基于经验主义的方法两种，自20世纪40年代提出至今，机器翻译已经经历了近70年的发展，发展历史大致可以分为三个阶段：基于规则的机器翻译、基于统计的机器翻译和基于神经网络的机器翻译。

基于规则的机器翻译技术采用人工构造规则的方法，对源语输入进行相应转换，得到目标翻译结果。这种方法的缺点在于需要大量的人工代价来构造规则，规则覆盖范围有限并且会出现冲突，使得系统可扩展性和鲁棒性差。之后，研究人员采用基于统计的机器翻译技术，利用统计方法进行建模，完全舍弃了对手工规则的依赖。统计机器翻译需要对大量的双语平行语料进行统计分析，从而构造统计翻译模型来完成翻译。近年来，随着深度学习的崛起，研究人员提出了基于深度学习的神经机器翻译(Neural Machine Translation，NMT)方法。神经机器翻译采用端到端的编码器-解码器框架，编码器将源语输入编码成一个稠密的语义向量，解码器负责参考语义向量进行自回归解码，生成最终的翻译结果。这种方法不需要额外的人工特征工程，直接使用神经网络进行建模，同样也需要大量的双语语料进行训练。

目前，基于自注意力机制的Transformer模型已经在多个语种上取得了可观的成绩，显著地提高了翻译结果的流畅行和准确性。Transformer模型同样基于编码器-解码器框架。其中，编码器由多层组成，每一层包括两个子层，第一个子层是一个注意力网络，二个子层是一个全连接的前馈神经网络。解码器结构与编码器相似，区别在于相比于解码器的两个子层，之间增加了一个编码-解码注意力网络来，用来参考源语编码表示。除此之外，Transformer模型中的每一个子层都包括一个残差连接和层正则化操作。

虽然神经机器翻译在某些领域已经取得不错的成绩，但是现如今的大多数机器翻译系统仍是基于句子级的，模型采用逐句翻译的方式进行工作。这种方式使得在翻译包含篇章级别上下文信息的文档中，翻译模型无法捕捉到句子间的上下文信息，造成最终翻译结果中出现翻译不准确或者上下文不一致的情况。因此，如何在翻译模型中有效引入篇章级的上下文信息来进行消歧，进一步提升整体翻译质量，是机器翻译领域的热门研究课题。

早在1992年，篇章级机器翻译的概念已经被提出，但是发展至今，绝大部分机器翻译系统仍然是基于句子级别的，关于篇章级机器翻译的研究没有取得显著的进展。篇章级机器翻译的问题在于如何引入句子间的上下文信息，在理想情况下，可以将整个篇章作为一个长的词序列送入翻译模型进行翻译，这样就可以获取全局的上下文信息进行翻译。然而现实中篇章序列往往过长，模型无法有效建模，在输入序列过长的情况下，现有神经机器翻译模型性能往往会显著下降。同时，现在主流的神经机器翻译技术训练和推理都花费大量的计算代价，全文翻译的做法在设备和计算速度要求上也是不允许的。此外，相比于句子级的普通双语数据，篇章级双语数据往往很难获取，训练数据的稀缺也成为限制篇章级机器翻译性能的主要问题。