[发明专利]一种基于树到序列的蒙汉机器翻译方法

权利要求书

1.一种基于树到序列的蒙汉机器翻译方法，采用编码器-解码器结构的NMT模型作为翻译流程的整体框架，其特征在于，所述编码器由序列编码器和基于树的编码器组成，序列编码器和基于树的编码器分别生成一个句子向量，其中，所述基于树的编码器中，基于头部驱动的短语结构语法，源语句由多个短语单元组成，并表示为二叉树，基于树的编码器为使用transformer构造的Tree-transformer结构，二叉树中的每个结点用transformer单元表示，从而在源语句的短语结构之后，以自下而上的方式递归地编码句子以产生句子的由结构信息组成的向量表示，初始解码器s₁具有两个子单元，分别是最终的序列编码器单元h_n和最终的基于树的编码器单元初始化叶结点时用最终的序列编码器单元h_n，初始化父结点时用基于树的编码器单元

2.根据权利要求1所述基于树到序列的蒙汉机器翻译方法，其特征在于，所述基于树的编码器是在标准的序列编码器中构建。

3.根据权利要求2所述基于树到序列的蒙汉机器翻译方法，其特征在于，所述基于树的编码器使用左右子隐藏单元和计算第k个短语的第k个父隐藏单元如下所示：

其中f_tree是非线性函数；在初始化基于树的编码器单元时，使用序列transformer单元，并使用tree-transformer来计算具有两个子transformer单元的父结点的transformer单元。

4.根据权利要求3所述基于树到序列的蒙汉机器翻译方法，其特征在于，在初始化基于树的编码器单元时，采用序列transformer单元表示，即h₀＝0；使用tree-transformer来计算具有两个子transformer单元的父结点的transformer单元的公式为tree表示非线性函数。

5.根据权利要求3所述基于树到序列的蒙汉机器翻译方法，其特征在于，初始解码器其中g_tree与f_tree具有相同的功能，该初始化允许解码器从序列数据和短语结构中捕获信息，使用Tree-transformer初始化解码器，将多种源语言翻译成一种目标语言，当语法分析器无法输出句子的解析树时，通过设置来使用序列编码器对句子进行编码。

6.根据权利要求1所述基于树到序列的蒙汉机器翻译方法，其特征在于，所述transformer中加入自注意力机制，为输入的语句向量的每一个字学习一个权重，在自注意力机制中每个单词有3个不同的向量，分别为Q,K,V向量，长度均为64，通过3个不同的权值矩阵由嵌入向量X乘以三个不同的权值矩阵W^Q,W^K,W^V得到，其中嵌入向量X由输入单词转换得到，三个权值矩阵的尺寸均是512×64。

7.根据权利要求6所述基于树到序列的蒙汉机器翻译方法，其特征在于，所述解码器中的transformer还加入编码器-解码器注意力机制，在此机制中，Q来自于解码器的上一个输出，K和V来自于编码器的输出，在机器翻译时，解码过程是一个顺序操作的过程，即当解码第k个特征向量时，只能看到第k-1及其之前的结果。

8.根据权利要求7所述基于树到序列的蒙汉机器翻译方法，其特征在于，采用BlackOut训练NMT模型。

9.根据权利要求7所述基于树到序列的蒙汉机器翻译方法，其特征在于，在解码过程中，使用波束搜索来解码源语句x的目标句子，并计算目标句子的对数似然的总和y＝(y₁,y₂,...y_m)作为波束得分：

利用波束搜索中的句子长度统计，目标句子的长度与源语句的长度相关，将每个候选人的分数重新定义如下：

L_x,y＝log P(len(y)|len(x))

其中L_x,y是给定源句长度len(x)的目标句子长度的条件概率的惩罚，它允许模型通过考虑目标句子的长度来解码句子；

最终，在借助GIZA++工具将输入短语和单词与输出对齐的同时，实现对源语句的解码。