[发明专利]基于双向循环神经网络的神经机器翻译方法和系统

说明书

本发明属于自然语言处理领域，涉及基于双向循环神经网络的神经机器翻译方法和系统，利用双向循环神经网络获得语句的上下文信息，然后通过双曲正切函数处理上下文信息，在生成目标语句的时候该上下文信息能够提供充分的源语句含义，从而生成质量更高的目标语句；本发明利用双曲正切函数的快速收敛性能来弥补神经机器翻译模型收敛慢造成的影响，提高了翻译模型的训练速度，减少了模型所需的训练时间，并且，在双向循环神经网络中添加双曲正切函数，可以更加充分理解翻译语句的上下文信息，能够进一步提高神经机器翻译模型的翻译质量。

技术领域

本发明属于自然语言处理领域，涉及基于双向循环神经网络的神经机器翻译方法和系统。

背景技术

跨语言翻译已经成为促进全球交流的重要组成部分，越来越多的人使用在线翻译系统和移动应用来进行跨越语言障碍的交流，在海量的数据背景下，人工翻译已经无法承载所有的翻译任务。因此机器翻译被提出来研究如何利用计算机实现自然语言的自动转换，是人工智能和自然语言处理领域的重要研究方向之一。机器翻译为自然语言翻译过程建立概率模型，并利用大量平行语料库和翻译规则来训练模型参数，当模型训练好后可以直接用来翻译文本。机器翻译主要分为统计机器翻译和神经机器翻译，统计机器翻译具有数据稀疏和难以充分利用上下文信息等缺点，神经机器翻译能够较好地解决这些缺点。基于深度学习的神经机器翻译自2013年之后得到迅速发展，成为当前机器翻译领域的研究热点。

神经机器翻译主要使用的是端到端神经机器翻译方法，其主要思想是使用神经网络将源语言文本直接映射成目标语言文本，不再涉及人工手动设计翻译规则，仅需要一个非线性的神经网络便能实现自然语言文本的转换。端到端神经机器翻译主要利用编码器-解码器框架，针对给定的源语言语句，首先使用一个编码器将其映射为一个连续的向量，然后再使用一个解码器将该向量转换为目标语言语句。

尽管神经机器翻译在翻译领域取得很好的表现，但是它却是以训练时间作为代价的，训练一个具有良好翻译效果的模型需要很长的时间，这就造成了计算资源和训练成本的增加。

发明内容

本发明为解决上述问题，提出了一种基于双向循环神经网络神经机器翻译方法和系统，利用快速收敛性函数来处理上下文信息，弥补神经机器翻译模型收敛慢造成的影响，且可以更加充分理解翻译语句的上下文信息，提高了翻译模型的训练速度的同时，能够更进一步提高神经机器翻译模型的翻译质量。

根据本发明的一个方面，提供一种基于双向循环神经网络的神经机器翻译方法，包括：

步骤1，编码器把源语句的词向量表示作为输入，通过双向循环神经网络获得源语句的语义表示，所述语义表示包括编码器中当前时刻正向循环神经网络的隐藏层状态和当前时刻反向循环神经网络的隐藏层状态

步骤2，编码器使用快速收敛特性函数对所述当前时刻正向循环神经网络的隐藏层状态和所述当前时刻反向循环神经网络的隐藏层状态进行连接计算，得到当前时刻编码器的隐藏层状态h_i，并将当前时刻编码器的隐藏层状态h_i发送给解码器；

步骤3，解码器根据所述编码器的隐藏层状态h_i和之前时刻解码器的隐藏层状态s_j-1计算上下文信息向量c_j，并结合之前时刻的翻译输出y_j-1计算当前时刻解码器的隐藏层状态s_j；

步骤4，编码器根据所述上下文信息向量c_j和当前时刻解码器的隐藏层状态s_j，以及之前时刻的翻译输出y_j-1，计算当前时刻的翻译输出y_j，把所有时刻的翻译输出连接起来构成机器翻译的目标语句。

其中，步骤2中所述的快速收敛特性函数可以为双曲正切函数。

根据本发明的一个方面，提供一种基于双向循环神经网络以及双曲正切函数的神经机器翻译系统，包括：