[发明专利]基于模拟未来时刻的翻译信息的神经机器翻译方法

权利要求书

1.一种基于模拟未来时刻的翻译信息的神经机器翻译方法，其特征在于，包括：

基于训练数据在基准的神经机器翻译算法中加入模拟未来翻译长度的损失loss_length进行训练，得到固定模型参数M1；

固定模型参数M1，最小化损失loss_gold，得到Z’和c’_i相关模型参数M2；

固定模型参数M1和M2，最小化损失loss_context使得目标词的预测概率分布p_predicate近似于理想概率分布p_gold；

训练一个多层感知机MLP，模拟BP：

p_BP＝σ(MLP(concat(s_i,c_i)))

loss_length＝(p_BP-BP)²

其中，s_i是当前时刻i的解码器隐藏层向量，c_i是当前时刻的上下文向量，concat是将两个向量相连的操作，σ是Sigmoid函数；p_BP是模拟的长度惩罚，通过优化损失函数loss_length使模拟的长度惩罚p_BP近似真实的长度惩罚BP；当前机器翻译结果的长度小于参考答案的长度，其惩罚BP为：

其中，c为当前时刻目标端翻译的句长，r为参考答案的句长；

训练一个多层感知机MLP’以模拟未来目标端上下文向量c’_i对目标端词的概率分布的贡献，用一个预测的概率分布p_predicate来模拟p_gold：

p_predicate＝MLP’(concat(s_i,c_i))

loss_context＝-(p_glod)*log(p_predicate)

其中，p_predicate是基于将基准系统的目标端隐藏层向量s_i和源端上下文向量c_i相连，通过MLP’层所预测的目标词的概率分布，并优化交叉熵损失函数loss_context使得p_predicate和p_gold相近似，p_gold为当前时刻目标端词的概率分布；

未来目标端上下文向量c’_i的获取方法包括：在目标端添加了一个双向编码器，对目标端Y＝y₁,y₂,...,y_|Y|进行编码得到目标端隐藏层向量序列Z＝z₁,z₂,...,z_|Y|；

针对当前时刻i，构建当前时刻i的解码器隐藏层向量s_i对z_i+1,…,z_i+k的注意力机制，从而获得未来目标端上下文向量c’_i：

c_i'＝Att(s_i,Z')

其中，s_i是当前时刻i的解码器隐藏层向量，Z’＝z_i+1,z_i+2,...,z_i+k是Z序列中当前时刻i的未来时刻的隐藏层向量，Att是注意力机制函数，k，1＝k|Y|-i，表示考虑未来k步；

在获得未来目标端上下文向量c’_i之后，通过以下方式将其作为未来信息贡献到当前词的概率分布计算中：

p_gold＝Softmax(concat(s_i,c_i'))

loss_gold＝-log(p_gold(y_i))

其中，c’_i同当前时刻i的解码器隐藏层向量s_i相连，经Softmax层输出当前时刻目标端词的概率分布p_gold；通过最小化损失函数loss_gold，使得正确答案y_i的概率在概率分布p_gold中最大化，从而优化未来目标端上下文向量c’_i对概率分布p_gold的贡献。