[发明专利]一种可学习未来信息的机器翻译方法

说明书

本发明公开一种可学习未来信息的机器翻译方法，步骤为：在解码器端加入未来信息网络模块，构建可学习未来信息的机器翻译模型；处理训练数据，利用词嵌入模型，将得到词嵌入表示；参数初始化和模型训练优化；在编码器中，对词嵌入进行计算并获得词嵌入向量中更多的信息，操作n次后，该模型即学到了句子的特征信息；可学习未来信息的机器翻译模型学习源语与目标语之间的关联信息，未来信息网络将学到的信息送回解码器，辅助解码器解码；利用训练好的可学习未来信息的机器翻译模型进行机器翻译实现可学习未来信息的机器翻译方法。本发明方法改善了现有神经机器翻译范式的不足，提高了神经机器翻译模型对平行语料的信息捕获能力和模型的翻译性能。

技术领域

本发明涉及一种神经机器翻译技术，具体为一种可学习未来信息的机器翻译方法。

背景技术

机器翻译，即利用计算机，将一种自然语言翻译为另一种自然语言。早期，机器翻译使用基于规则的方法，科学家利用语言学家总结的语言学规则，编写程序，试图使计算机根据规则进行翻译。之后基于实例的机器翻译发展而来，该方法依赖句子实例库，实例库拥有的句子越多，翻译的质量越好。随着IBM的研究，机器翻译进入了统计机器翻译时代，该范式利用统计学知识，统计源语与目标语的对应关系，在解码时，将翻译概率乘语言模型概率的值最高的句子，当作解码所得到的句子。

现如今，机器翻译已经进入了神经机器翻译时代。最早的神经机器翻译范式使用编码器解码器结构，该结构贯穿了所有神经机器翻译模型。可溯的第一个神经机器翻译模型的编码器使用卷积神经网络来捕获源语言句子中的特征，解码器使用循环神经网络，然而卷积神经网络不能捕获长句子的依赖信息，并且循环神经网络由于每一个时间步的权重共享，容易发生梯度爆炸，另外循环神经网络在处理长句子序列时，容易发生梯度消失问题。随后，LSTM被引入神经机器翻译模型，以缓解长序列依赖问题和梯度消失问题。

随着注意力机制在机器学习中的探索，其被发现非常适用于机器翻译任务。在机器翻译中，每一个词于其上下文词的关系都不是均匀的，引入注意力机制，就可以很自然的学习句子中每一个词于其上下文词之间的关系，为关联度更高的词赋予更大的权重，可以提高模型特征学习的效率。另外，在注意力机制中，每一次计算，当前词都可以同时捕获其与上下文中任意一个词的关系，也就是说，每个词与其他词的距离为1，而在循环神经网络中，第n个词与第一个词的距离为n-1，换句话说，注意力机制非常适合用于捕捉句子中的长距离依赖。

现在的神经机器翻译模型中，在训练和推断的解码过程中，都屏蔽了未来信息，这样模型在训练过程中，可学习到的信息将会具有一定损失。

发明内容

针对神经机器翻译训练过程中，没有学习未来信息的能力，语料利用率较低这一问题，本发明提出一种可学习未来信息的机器翻译方法，将未来信息引入到神经机器翻译模型中，以提升改善模型训练范式，且提升模型对语料的利用率。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种可学习未来信息的机器翻译方法，包括以下步骤：

1)采用基于自注意力机制的Transformer模型作为基础框架，在解码器端加入未来信息网络模块，用于学习句子的未来信息，构建一种可学习未来信息的机器翻译模型；

2)处理训练数据，对源语和目标语平行句对进行数据清洗、分词，并利用现有的词嵌入模型，将得到的相应词转换成其对应的词嵌入表示；

3)使用均匀分布对可学习未来信息的机器翻译模型进行参数初始化，使用自适应学习率算法进行模型训练优化；

4)在编码器中，首先利用自注意力机制对词嵌入进行计算，随后将计算得到的值送入可学习未来信息的机器翻译模型中的前馈神经网络以获得词嵌入向量中更多的信息，此操作进行n次后，该模型即学到了句子的特征信息；