[发明专利]神经机器翻译模型的构建方法及装置、翻译方法及装置

权利要求书

1.一种神经机器翻译模型的构建方法，其特征在于，包括：

基于编码器-解码器框架构建神经机器翻译模型，所述神经机器翻译模型包括编码器和解码器；

其中，所述解码器在生成目标词汇时，依次生成与目标词汇对应的第一属性向量和第二属性向量，然后再由所述第一属性向量和所述第二属性向量组成一个属性向量对映射到相应的目标词汇。

2.根据权利要求1所述的方法，其特征在于，所述解码器在生成目标词汇时，依次生成与目标词汇对应的第一属性向量和第二属性向量，具体包括：

通过源语句的隐藏状态序列、与当前目标词汇对应的上下文向量、当前目标词汇的前一目标词汇的第二属性隐藏状态和第二属性向量得到当前目标词汇的第一属性隐藏状态；

通过与当前目标词汇对应的上下文向量、当前目标词汇的第一属性隐藏状态和第一属性向量得到当前目标词汇的第二属性隐藏状态；

基于当前目标词汇的第一属性隐藏状态计算当前目标词汇对应各个第一属性向量的概率；

基于当前目标词汇的第二属性隐藏状态计算当前目标词汇对应各个第二属性向量的概率；

按照目标词汇的顺序，根据计算得到的所有目标词汇对应各个第一属性向量的概率和对应各个第二属性向量的概率确定各个目标词汇的第一属性向量和第二属性向量。

3.根据权利要求2所述的方法，其特征在于，所述基于当前目标词汇的第一属性隐藏状态计算当前目标词汇对应各个第一属性向量的概率，通过如下公式实现：

其中，表示对应于第j个目标词汇，第一实数矩阵中第m行的第一属性向量的概率；表示所述第一实数矩阵中第m行的第一属性向量；为计算过程中间变量；表示所述第一实数矩阵中第i行的第一属性向量；w⁽¹⁾为训练第一属性向量的模型训练参数，M为所述第一实数矩阵的行数；为第j个目标词汇的第一属性隐藏状态；为第j-1个目标词汇的第二属性向量；c_j为第j个目标词汇的上下文向量；

所述基于当前目标词汇的第二属性隐藏状态计算当前目标词汇对应各个第二属性向量的概率，通过如下公式实现：

其中，表示对应于第j个目标词汇，第二实数矩阵中第n行的第二属性向量的概率；表示所述第二实数矩阵中第n行的第二属性向量；为计算过程中间变量；表示所述第二实数矩阵中第l行的第二属性向量；w⁽²⁾为训练第二属性向量的模型训练参数，N为所述第二实数矩阵的行数；为第j个目标词汇的第二属性隐藏状态；为第j个目标词汇的第一属性向量；c_j为第j个目标词汇的上下文向量。

4.根据权利要求1所述的方法，其特征在于，所述按照目标词汇的顺序，根据计算得到的所有目标词汇对应各个第一属性向量的概率和对应各个第二属性向量的概率确定各个目标词汇的第一属性向量和第二属性向量，具体包括：

按照概率的高低，存储与各个目标词汇对应的预设数量的第一属性向量和第二属性向量；

在满足相邻目标词汇对应的属性向量的制约关系下，计算所有目标词汇对应各个第一属性向量的概率和对应各个第二属性向量的概率的乘积，取乘积最大时各个目标词汇所对应的第一属性向量和第二属性向量为最后所确定的各个目标词汇所对应的第一属性向量和第二属性向量。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括对神经机器翻译模型进行训练，所述对神经机器翻译模型进行训练具体包括：

在对所述神经机器翻译模型进行训练的过程中收集预设特征，并在模型收敛时暂停训练；

根据收集的所述预设特征对训练集中的目标词汇和属性向量对进行重映射；

使用重映射后的属性向量对继续训练所述神经机器翻译模型；

重复上述步骤直至达到预设的训练时间或训练次数时终止训练。

6.根据权利要求5所述的方法，其特征在于，在对神经机器翻译模型进行训练之前，所述方法还包括：

分别建立第一实数矩阵和第二实数矩阵，所述第一实数矩阵包括第一属性向量，所述第二实数矩阵包括第二属性向量；

将训练集中的目标词汇分别映射到一对初始的第一属性向量和第二属性向量。