[发明专利]一种机器翻译模型的训练方法、系统、设备及存储介质

权利要求书

1.一种机器翻译模型的训练方法，其特征在于，包括：

为训练数据中包含的多种语言对的平行语料中的每个源语料添加目标语言标记；

利用所述平行语料，建立各语言的共享词表；

建立mask矩阵，所述mask矩阵中的元素表示所述共享词表中的每个词是否在各语言对应的词表中存在，若存在则为1，不存在则为0；

使用端到端的Encoder-Decoder框架读取所述平行语料，得到目标端向量表示；

通过目标语言标记确定所述mask矩阵中关于平行语料的语言对应的mask子矩阵；

将所述目标端向量表示、共享词表的向量表示和mask子矩阵输入softmax层，得到概率分布；

利用所述Encoder-Decoder框架，结合所述概率分布对训练数据进行训练，得到翻译模型。

2.根据权利要求1所述的方法，其特征在于，所述利用所述平行语料，建立各语言的共享词表，具体包括：

利用所述平行语料，分别生成各语言对应的词表；

将各词表合并去重后得到一个共享词表。

3.根据权利要求1所述的方法，其特征在于，所述使用端到端的Encoder-Decoder框架读取所述平行语料，得到目标端向量表示，具体包括：

Encoder模块读取源语料并计算得到源端向量表示；

Decoder模块读取所述源语料对应的目标语料并与所述源端向量表示一起计算得到目标端向量表示。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述目标端向量表示、共享词表的向量表示和mask子矩阵输入softmax层，得到概率分布，具体包括：

按照如下计算公式计算概率分布：

probabilities＝softmax(H_D*(V*M_j))

其中，probabilities为概率分布，H_D为目标端向量表示，V为共享词表的向量表示，M_j∈[0,1]^dv是语言L_j对应的mask子矩阵，d_v表示共享词表的大小。

5.一种机器翻译模型的训练系统，其特征在于，包括：

语料标记模块，用于为训练数据中包含的多种语言对的平行语料中的每个源语料添加目标语言标记；

词表建立模块，用于利用所述平行语料，建立各语言的共享词表；

矩阵建立模块，用于建立mask矩阵，所述mask矩阵中的元素表示所述共享词表中的每个词是否在各语言对应的词表中存在，若存在则为1，不存在则为0；

语料处理模块，用于使用端到端的Encoder-Decoder框架读取所述平行语料，得到目标端向量表示；

子矩阵确定模块，用于通过目标语言标记确定所述mask矩阵中关于平行语料的语言对应的mask子矩阵；

概率计算模块，用于将所述目标端向量表示、共享词表的向量表示和mask子矩阵输入softmax层，得到概率分布；

模型训练模块，用于利用所述Encoder-Decoder框架，结合所述概率分布对训练数据进行训练，得到翻译模型。

6.根据权利要求5所述的系统，其特征在于，所述词表建立模块，具体包括：

词表生成单元，用于利用所述平行语料，分别生成各语言对应的词表；

词表合并单元，用于将各词表合并去重后得到一个共享词表。

7.根据权利要求5所述的系统，其特征在于，所述语料处理模块，具体包括：

Encoder模块，用于读取源语料并计算得到源端向量表示；

Decoder模块，用于读取所述源语料对应的目标语料并与所述源端向量表示一起计算得到目标端向量表示。