[发明专利]基于双向依存自注意力机制的低资源神经机器翻译方法

权利要求书

1.基于双向依存自注意力机制的低资源机器翻译方法，其特征在于，所述方法的具体步骤如下：

Step1、爬取互译的平行语料，通过人工筛选并对齐得到平行句对；

Step2、对处理好的平行语料进行分词、依存解析和BPE，其中对双语数据进行分词和BPE，但只对源语言端进行依存解析，解析后得到源语言的依存标记；

Step3、在Step2的基础上，将双向依存信息融合到Transformer模型中，得到具有双向依存自注意力机制的Transformer模型，再对处理好的平行语料进行训练，得到训练好的具有双向依存自注意力机制的Transformer模型；

Step4、在Step3的基础上，利用训练好的具有双向依存自注意力机制的Transformer模型在测试集上进行翻译，得到翻译结果后利用BLUE值作为评价指标对翻译质量进行评估。

2.根据权利要求1所述的基于双向依存自注意力机制的低资源神经机器翻译方法，其特征在于：所述Step1中通过互联网爬取互译的汉泰平行语料，人工筛选出106万个平行句对，并为所有的翻译任务中构建1.6万的BPE词典。

3.根据权利要求1所述的基于双向依存自注意力机制的低资源神经机器翻译方法，其特征在于：所述Step2中对处理好的平行语料进行分词和依存解析，解析后得到源语言句子中子词到父词位置信息，构建父词位置向量，再利用父词位置信息即可得到父词到子词方向遍历的全部子词依存信息且无需利用外部依存解析工具，从而构建子词权重矩阵，得到双向依存信息。

4.根据权利要求1所述的基于双向依存自注意力机制的低资源神经机器翻译方法，其特征在于：所述Step3将子词到父词方向和父词到子词方向的双向依存信息融合到Transformer多头注意力机制中，对多头注意力机制进行更改，通过融合父词位置向量和子词权重矩阵，构建双向依存自注意力机制，利用双向依存信息为模型提供更全面的结构信息。