[发明专利]一种基于上下文记忆网络的篇章级神经机器翻译方法

权利要求书

1.一种基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于包括以下步骤：

1)采用基于自注意力机制的Transformer模型，在编码器端加入上下文记忆模块，用来动态维持上下文记忆，构成基于上下文记忆网络的Transformer模型；

2)构建平行语料库，对源语和目标语句子进行分词，将得到的相应词序列转换成对应的词向量表示；

3)在编码器端，对源语输入的词嵌入进行逐层特征抽取，通过上下文记忆模块引入相应的上下文信息，融合到当前的编码表示里；同时，将当前的编码表示更新到上下文记忆模块中，为之后句子的翻译提供上下文信息；

4)在解码器端，对目标语的词嵌入进行处理，在每一个子层中结合源语的语义向量，逐层进行特征抽取，得到一个和解码器输入长度一致的输出结果，用于模型预测；

5)将解码器的输出结果通过一个变换矩阵映射成目标语的词表大小，经过softmax归一化操作后得到预测的分布；用预测的分布和真实的标签计算出交叉熵作为模型的损失，用来计算梯度反向更新模型的参数，完成模型的训练过程；

6)利用训练好的模型进行篇章级机器翻译，按照文档句子的先后顺序，逐句送入模型进行翻译，模型通过一个动态维持的上下文记忆模块来引入上下文信息，然后通过自回归的方式得到翻译结果。

2.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：在步骤1)中，在编码器端引入上下文记忆模块用来动态维持上下文记忆信息，通过融合操作来将上下文信息整合到当前编码表示中，同时，使用更新操作对上下文信息进行更新，用于之后的翻译过程。

3.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：在步骤2)中，首先构造篇章级平行语料库，在确定训练数据后，分别对源语和目标语进行分词，将原始句子转换成词序列；然后分别将其转换成词嵌入表示，与对应位置的位置编码表示相加后作为编码器和解码器的输入。

4.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：步骤3)对源语输入的词嵌入进行逐层特征抽取，其中每一层的具体步骤为：

301)将子层输入首先通过自注意力网络进行变换，用来进行句子中的信息抽象，捕捉句子中不同位置之间的联系，得到更全局的编码表示；

302)将子层输入和上下文信息表示通过注意力网络得到源语在当前的对应的上下信息表示；

303)将步骤301)和步骤302)的结果通过一个门控单元进行融合，使得上下文信息融合到编码器表示中，融合方式如下：

其中W_g和b_g为模型的参数，σ为sigmod函数，用来获得门控g，H_cur是当前句的编码表示，是对应的上下文信息，H为融合后的编码表示；

304)将步骤303)的结果作为输入，按位送入全连接的前馈神经网络，对其进行特征提取；

305)将提取得到的特征作为当前层的输出用于更新上下文记忆表示。

5.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：步骤4)中在每一个子层中结合源语的语义向量，逐层进行特征抽取，其中每一层的步骤为：

401)将子层输入送入自注意力网络，用来捕捉目标语编码序列与之前位置表示之间的关系，获得一个更全局的子层编码表示；

402)将子层输入和源语编码的语义向量送入编码-解码注意力网络，通过注意力机制来获得目标语中每个词在相应层对应的表示；

403)将获得的目标语表示送入全连接前馈神经网络，用来增加词表示的非线性变换，获得更抽象的表示，用于预测下一个词。

6.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：步骤5)中训练过程需要将整个文档按句送入模型进行计算损失，然后再计算相应梯度进行模型参数更新。