[发明专利]基于双向循环神经网络的神经机器翻译方法和系统

权利要求书

1.一种基于双向循环神经网络的神经机器翻译方法，其特征在于，包括：

步骤1，编码器把源语句的词向量表示作为输入，通过双向循环神经网络获得源语句的语义表示，所述语义表示包括编码器中当前时刻正向循环神经网络的隐藏层状态和当前时刻反向循环神经网络的隐藏层状态

步骤2，编码器使用快速收敛特性函数对所述当前时刻正向循环神经网络的隐藏层状态和所述当前时刻反向循环神经网络的隐藏层状态进行连接计算，得到当前时刻编码器的隐藏层状态h_i，并将当前时刻编码器的隐藏层状态h_i发送给解码器；

步骤3，解码器根据所述编码器的隐藏层状态h_i和之前时刻解码器的隐藏层状态s_j-1计算上下文信息向量c_j，并结合之前时刻的翻译输出y_j-1计算当前时刻解码器的隐藏层状态s_j；

步骤4，解码器根据所述上下文信息向量c_j和当前时刻解码器的隐藏层状态s_j，以及之前时刻的翻译输出y_j-1，计算当前时刻的翻译输出y_j，把所有时刻的翻译输出连接起来构成机器翻译的目标语句。

2.根据权利要求1所述的一种基于双向循环神经网络的神经机器翻译方法，其特征在于，步骤2中所述的快速收敛特性函数为双曲正切函数。

3.根据权利要求2所述的一种基于双向循环神经网络的神经机器翻译方法，其特征在于，步骤3所述解码器根据所述编码器的隐藏层状态h_i和之前时刻解码器的隐藏层状态s_j-1计算上下文信息向量c_j，并结合之前时刻的翻译输出y_j-1计算当前时刻解码器的隐藏层状态s_j的方法包括：

计算上下文信息向量其中m是源语句的长度，h_i表示当前时刻编码器的隐藏层状态，是与隐藏层状态h_i相对应的权重值，其中s_j-1为之前时刻解码器的隐藏层状态，a()为注意力机制对齐函数；

计算解码器的隐藏层状态s_j＝RNN(s_j-1,y_j-1,c_j)，其中s_j-1为之前时刻解码器的隐藏层状态，c_j为上下文信息向量，y_j-1为之前时刻的翻译输出，其中RNN()表示循环神经网络的计算。

4.根据权利要求1所述的一种基于双向循环神经网络的神经机器翻译方法，其特征在于，步骤4计算所述当前时刻的翻译输出y_j，把所有时刻的翻译输出连接起来构成机器翻译的目标语句的方法为：

解码器根据上下文信息向量c_j，当前时刻的隐藏层状态s_j和之前时刻的翻译输出y_j-1，使用公式p(y_j|x,y_＜j)＝softmax(RNN(y_j-1,s_j,c_j；θ))计算得到当前时刻的翻译输出y_j，其中θ表示解码器中所有的参数，softmax()为归一化指数函数，RNN()为循环神经网络的计算，y_＜j为之前时刻的所有输出；机器翻译的目标语句的计算通过将所有翻译输出以条件概率建模生成。

5.根据权利要求1所述的一种基于双向循环神经网络的神经机器翻译方法，其特征在于，在步骤4计算当前时刻的翻译输出y_j，把所有时刻的翻译输出连接起来构成机器翻译的目标语句之后还包括：

步骤5，根据平行语料库中的目标语句和机器翻译的目标语句对比，计算翻译的损失，然后使用随机梯度下降算法反向传播模型的损失值，并更新机器翻译的参数。