[发明专利]基于模拟未来时刻的翻译信息的神经机器翻译方法

说明书

本发明涉及一种基于模拟未来时刻的翻译信息的神经机器翻译方法，为获得良好的神经机器翻译而设计。本发明模拟未来时刻的翻译信息，从未来翻译长度的角度和未来翻译所提供的上下文角度进行模拟，本发明显著提高了神经机器翻译模型NMT的翻译质量。

技术领域

本发明属于机器学习技术领域，具体涉及一种基于模拟未来时刻的翻译信息的神经机器翻译方法。

背景技术

传统的机器翻译方法为统计机器翻译方法(Statistical Machine Translation，简称SMT)，从大规模平行语料中统计诸如词对、平行短语对、平行句法结构等的信息，以建立针对翻译过程的统计模型。近年来，随着深度学习的发展，利用神经网络将源语言映射到目标语言的翻译模型，即神经机器翻译模型(Neural Machine Translation，简称NMT)，显著提升了机器翻译的质量，超越了传统统计机器翻译方法的性能，成为目前工业界和学术界的主流方法。

基准神经机器翻译系统为编码-解码框架，将源语言编码为隐藏向量信息，再把该隐藏向量信息解码为目标语言[Sutskever et al.,2014；Bahdanau et al.,2015]。编码和解码功能均通过循环神经网络(Recurrent Neural Networks,简称RNNs)实现。这两个循环神经网络是通过一个注意力层(Attention Layer)连接建模的，在翻译目标单词时检测其与源端语句相关的部分，这个过程称之为使用注意力机制(Attention)。神经机器翻译是一种端到端的翻译模型，它在给定源端语句X＝x₁,x₂,...,x_|X|的条件下直接对目标端语句Y＝y₁,y₂,...,y_|Y|的条件概率P(Y|X)进行建模：

其中，源端语句X通过编码器编码为隐藏层向量H＝h₁,h₂,...,h_|x|，解码器根据条件概率逐字地预测出目标语句Y。第j个目标端单词的计算概率为：

P(y_j|y_＜j,X)＝g(s_j,y_j-1,c_j)

其中，g是一个非线性概率函数，s_j是目标端的隐藏层向量，c_j是通过注意力机制c_j＝Att(s_j-1,h_i)得到的上下文向量，Att函数具体如下：

其中，υ^T_a、W_a、U_a是参数矩阵，这种注意力机制可以构建在生成目标端当前词时对源端所有词的注意力分布。

基准神经机器翻译系统为编码-解码框架中解码过程按照自左向右的顺序依次解码，而没有考虑到未来时刻的翻译内容对当前时刻的翻译的影响。基准神经机器翻译系统是以自左向右的方式进行翻译的，这使得在翻译过程中，自右向左产生的目标端上下文信息从未被利用到。因此，对传统的神经机器翻译加上一个反向的解码器，可以探索神经机器翻译的双向解码。

基于该思想，异步的双向解码方法被提出[Zhang Xet al.,2018]。首先，该方法添加了一个反向解码器按照自右向左的顺序进行翻译，生成目标端隐藏层向量；其次，正向解码器按照自左向右的顺序进行翻译，每一步同时使用源端隐藏层向量和反向解码器生成的目标端隐藏层向量。通过这种新型的架构得到的模型能够充分地利用源端信息和目标端未来信息，提高翻译效果。