[发明专利]一种融合双语词典的蒙汉神经机器翻译方法

权利要求书

1.一种融合双语词典的蒙汉神经机器翻译方法，通过在NMT系统中增加离散的翻译词典，有效地解决NMT在翻译低频实词时经常出错的问题，其特征在于，包括以下步骤：步骤一、对训练数据、其他外部并行数据资源(如手制字典)或两者结合，使用传统的单词对齐方法来构造这些词典概率；步骤二、使用注意力NMT模型中的注意力向量，将词典翻译概率转换为下一个单词的预测概率；步骤三、通过NMT概率的线性插值，或者将其作为NMT预测分布的偏差，将该概率纳入NMT；

所述源语言为蒙语。

2.根据权利要求1所述融合双语词典的蒙汉神经机器翻译方法，其特征在于，所述步骤一中使用三种方式构造词典概率，分别为自动学习词典，手制词典与混合词典；

所述自动学习词典的词典概率直接使用IBM之类的翻译模型从平行语料库中通过无监督的方式进行学习，这些模型可以使用期望最大化(EM)算法估计两种语言标记之间的词对齐和词法转换概率p_l(y|x)，在期望步骤中，算法首先估计期望的计数c(y|x)，在最大化步骤，词典概率由期望技术除以所有可能的总数算得：

NMT受训练速度与内存的约束，导致许多罕见词未被目标词表V_Y覆盖，据此，将词典所分配的剩余概率分配给未知的单词符号unk。

。

3.根据权利要求2所述融合双语词典的蒙汉神经机器翻译方法，其特征在于，所述手制词典不包含翻译概率，为构造概率p_l(y|x)，为特定源词x定义存在于词典中的翻译集K_x，并假设这些词是均匀分布的；

未登录源词将其概率质分配给unk标签。

4.根据权利要求2所述融合双语词典的蒙汉神经机器翻译方法，其特征在于，所述手制词典的词汇覆盖率更高，但其概率不如自动学习词典的精确，故构造一种混合方法，将手制词典补充到自动学习词典中，默认使用自动学习词典p_l,a，对未覆盖词使用手制词典。

5.根据权利要求1所述融合双语词典的蒙汉神经机器翻译方法，特在于，所述步骤二中的神经机器翻译的目标是将源单词序列翻译为目标单词序列这些单词分别属于源语言词表V_x和目标语言词表V_y，NMT通过计算给定源词X和前序目标单词下，第i个目标词y_i的条件概率来执行这次翻译，上述过程通过将上下文编码为一个固定长度的向量η_i，并用下式计算条件概率来实现

其中W_s和b_s分别为权重矩阵和偏置向量参数。

6.根据权利要求1所述融合双语词典的蒙汉神经机器翻译方法，其特征在于，所述步骤二中的神经机器翻译选用注意力模型，注意力模型在计算y_i时集中于源句中与之相关的特定的单词，其特征在于，包括以下步骤：步骤一、编码器将源句子X转换为一个矩阵R；步骤二、根据注意力向量a_i计算上下文向量c_i；步骤三、依据算得的条件概率预测单词y_i，并通过最小化训练数据的负对数似然来训练本模型；

所述步骤一中的注意力模型在计算y_i时集中于源句中与之相关的特定的单词，首先编码器将源句子X转换为一个矩阵R，矩阵的每一列(即一个连续向量)代表输入句子中的一个单词，此表示使用双向编码器生成

其中，embed()函数将单词映射为一个表示(通常使用向量进行表示)，enc()是一个堆栈式LSTM神经网络，最后将和连接为一个双向表示r_j，这些向量进一步连接为一个矩阵R，矩阵的第j列对应r_j。