[发明专利]一种可学习未来信息的机器翻译方法

权利要求书

1.一种可学习未来信息的机器翻译方法，其特征在于包括以下步骤：

1)采用基于自注意力机制的Transformer模型作为基础框架，在解码器端加入未来信息网络模块，用于学习句子的未来信息，构建一种可学习未来信息的机器翻译模型；

2)处理训练数据，对源语和目标语平行句对进行数据清洗、分词，并利用现有的词嵌入模型，将得到的相应词转换成其对应的词嵌入表示；

3)使用均匀分布对可学习未来信息的机器翻译模型进行参数初始化，使用自适应学习率算法进行模型训练优化；

4)在编码器中，首先利用自注意力机制对词嵌入进行计算，随后将计算得到的值送入可学习未来信息的机器翻译模型中的前馈神经网络以获得词嵌入向量中更多的信息，此操作进行n次后，该模型即学到了句子的特征信息；

5)可学习未来信息的机器翻译模型利用编解码注意力机制学习源语与目标语之间的关联信息，同时编码器的信息也被送入可以学习未来信息网络结构中，以辅助解码器学习句子的未来信息；最后，未来信息网络将学到的信息送回解码器，辅助解码器解码；

6)利用训练好的可学习未来信息的机器翻译模型进行机器翻译，在翻译过程中，该模型仅使用基础的Transformer解码器进行解码，实现可学习未来信息的机器翻译方法。

2.按权利要求1所述的一种可学习未来信息的机器翻译方法，其特征在于：在步骤1)中，在解码器端加入未来信息网络模块，用于学习句子的未来信息，未来信息网络的算法流程为：

101)对未来信息进行线性变换：

z_i＝GRU(z_i-1,h_i-1)

其中z_i是第i句的未来句子信息，z_i-1是第i-1句的未来句子信息，h_i-1是第i-1句的循环单元状态，GRU是门控循环单元；

102)将未来信息与当前状态信息融合：

o_i＝sigmoid(z_iW+b)

其中o_i是门控信息，用于学习需要保留多少比例的未来句子信息z_i，sigmoid(·)是激活函数，W和b是模型可学习的参数，y_i是当前状态，是融合了未来信息后的当前状态；

103)将当前状态与编码器信息进行融合，以学习源语言到目标语言的关联信息：

其中是未来信息网络的输出值，attention(·)是注意力机制算法，是融合了未来信息后的当前状态，x_i是编码器所捕获的特征值。

3.按权利要求2所述的一种可学习未来信息的机器翻译方法，其特征在于：在步骤101)中，使用门控循环单元GRU对信息进行线性变换，该结构由重置门和更新门构成，重置门用来控制前一时刻隐层状态的信息比例，公式如下：

r_t＝sigmoid([h_t-1,x_t]W_r)

其中r_t表示前一时刻隐层信息需要保留的比例，h_t-1是前一时刻的隐层信息，x_t是当前时刻的输入，W_r是可训练的权重参数；

更新门用来更新记忆信息，其计算公式如下：

u_t＝sigmoid([h_t-1,x_t]W_u)

其中u_t是更新门得到的权重值，W_u是可训练的权重参数；

之后，利用计算得到的r_t和u_t更新当前时间步的隐藏状态，其具体计算公式如下：

其中是包含前一时刻隐层状态与当前时刻信息的值，W_h是可训练的权重参数，tanh(·)是激活函数，h_t是当前时刻的隐层状态信息。