[发明专利]利用外部信息的神经机器翻译系统及翻译系统的训练方法

说明书

本公开涉及利用外部信息的神经机器翻译系统及翻译系统的训练方法。利用外部信息的神经机器翻译系统包括：源端编码器神经网络，用于接收源端源语言的文字序列作为源端输入；外部信息编码器神经网络，用于接收目标语言的文字序列作为外部信息输入；目标端解码器神经网络，用于根据源端输入和外部信息输入，计算结合外部信息的翻译预测概率分布，根据结合外部信息的翻译预测概率分布生成源端源语言文字序列的译文作为目标端输出。本公开提供的翻译系统，在翻译过程中输入外部信息，为翻译提供参考，有效提高了翻译效率；本公开提供的翻译系统的训练方法，能够适应考虑外部信息的神经机器翻译系统。

技术领域

本公开涉及自然语言处理的机器翻译技术领域，尤其涉及一种利用外部信息的神经机器翻译系统及翻译系统的训练方法。

背景技术

近年来，随着计算机技术的迅猛发展，计算机硬件的算力不断提高，海量的数据得到广泛应用，机器学习方法特别是基于神经网络的深度学习方法取得了很大的发展和广泛的应用，这其中就包括基于神经网络的机器翻译方法，即神经机器翻译(NMT)。

在NMT领域中，比较典型的是基于带有注意力机制的编码器解码器架构(Attention-based Encoder-Decoder Architecture)的神经机器翻译模型。其工作过程如下：输入待翻译的源端句子的词向量序列x，即x＝{x₁,…,x_i,…,x_I}。随之使用一个基于神经网络的编码器将其编码为I个隐层表示h＝{h₁,…,h_i,…,h_I}，接着使用一个基于神经网络的解码器进行解码。在每个解码时刻t，解码器首先读取1到t-1时刻生成的历史信息，然后通过注意力机制从源端的编码器的隐层表示h中获得当前时刻对应的源端上下文信息，从而生成目标端的隐层表示s＝{s₁,…,s_t,…,s_T}。进而通过T个目标端的隐层表示生成目标语言句子y＝{y₁,…,y_t,…,y_T}。

现有技术对NMT的研究主要集中于通过设计更复杂的模型来增强翻译系统的性能，然而，随着NMT的发展，通过设计更好的模型，使之能更好地从给定的有限规模的训练样本中学习翻译能力已经逐渐达到了一个瓶颈，与此同时还伴随着模型复杂性的上升和模型规模的增大。

因此，如何在不过度增加模型复杂性的基础上提出一种提高翻译质量的翻译系统，是本领域亟待解决的问题。

发明内容

有鉴于此，本公开提出了一种利用外部信息的机器翻译方法、一种利用外部信息的机器翻译系统和该机器翻译系统的训练方法。

根据本公开的第一方面，提供一种利用外部信息的神经机器翻译系统，所述系统包括：源端编码器神经网络，用于接收源端源语言的文字序列作为源端输入；外部信息编码器神经网络，用于接收目标语言的文字序列作为外部信息输入；目标端解码器神经网络，用于根据所述源端输入和所述外部信息输入，计算结合外部信息的翻译预测概率分布，根据所述结合外部信息的翻译预测概率分布生成源端源语言文字序列的译文作为目标端输出。