[发明专利]翻译模型的生成方法、装置、可读存储介质及电子设备

权利要求书

1.一种翻译模型的生成方法，其特征在于，所述翻译模型包括编码器和解码器，其中，所述编码器包括多个特征提取层，所述方法包括：

获取所述编码器的所述多个特征提取层之间的层间注意力模型；

根据所述编码器的层间注意力模型，确定编码器解码器的注意力模型；

基于所述层间注意力模型和所述编码器解码器的注意力模型，生成所述翻译模型；

其中，所述解码器包括多个特征解码层；所述获取所述编码器的所述多个特征提取层之间的层间注意力模型，包括：

针对每一所述特征解码层，根据所述特征解码层的输入向量、所述编码器每一所述特征提取层的输入向量和每一所述特征提取层的输出向量，确定所述特征解码层的、所述多个特征提取层之间的层间注意力模型；

所述根据所述编码器的层间注意力模型，确定编码器解码器的注意力模型，包括：

针对每一所述特征解码层，根据所述特征解码层的、所述层间注意力模型的输出向量，以及所述特征解码层的输入向量经所述特征解码层中的掩码多头自注意力网络、残差连接、层正则化网络之后得到的中间向量，确定所述特征解码层的、所述编码器和所述解码器的注意力模型。

2.根据权利要求1所述的方法，其特征在于，所述编码器包括M1个特征提取层，所述M1个特征提取层依次相连，M1为大于或等于2的整数；

其中，依次相连的M1个特征提取层中的第一个特征提取层的输入向量为输入词嵌入和输入词的位置编码，第K个特征提取层的输入向量为第K-1个特征提取层的输出向量，其中，K的取值范围为2到M1。

3.根据权利要求1所述的方法，其特征在于，所述解码器包括M2个特征解码层，所述M2个特征解码层依次相连，M2为大于或等于2的整数；

其中，依次相连的M2个特征解码层中的第一个特征解码层的输入向量为输出词嵌入和输出词的位置编码，第N个特征解码层的输入向量为第N-1个特征解码层的输出向量，其中，N的取值范围为2到M2。

4.根据权利要求1所述的方法，其特征在于，所述基于所述层间注意力模型和所述编码器解码器的注意力模型，生成所述翻译模型，包括：

基于层间注意力模型和编码器解码器的注意力模型，对所述编码器和所述解码器进行训练，生成翻译模型。

5.根据权利要求4所述的方法，其特征在于，所述基于层间注意力模型和编码器解码器的注意力模型，对所述编码器和所述解码器进行训练，生成翻译模型，包括：

利用源语言语料对所述编码器进行掩码语言模型训练，得到预训练后的编码器；

利用目标语言语料对所述解码器进行生成语言模型训练，得到预训练后的解码器；

根据所述预训练后的编码器、所述预训练后的解码器、所述层间注意力模型、所述编码器解码器的注意力模型，构建样本翻译模型；

利用双边语料对所述样本翻译模型进行训练，以得到翻译模型。

6.一种翻译模型的生成装置，其特征在于，所述翻译模型包括编码器和解码器，其中，所述编码器包括多个特征提取层，所述装置包括：

获取模块，用于获取所述编码器的所述多个特征提取层之间的层间注意力模型；

确定模块，用于根据所述编码器的层间注意力模型，确定编码器所述解码器的注意力模型；

生成模块，用于基于所述编码器所述解码器的注意力模型，生成所述翻译模型；

所述解码器包括多个特征解码层；所述获取模块用于：针对每一所述特征解码层，根据所述特征解码层的输入向量、所述编码器每一所述特征提取层的输入向量和每一所述特征提取层的输出向量，确定所述特征解码层的、所述多个特征提取层之间的层间注意力模型；

所述确定模块用于：针对每一所述特征解码层，根据所述特征解码层的、所述层间注意力模型的输出向量，以及所述特征解码层的输入向量经所述特征解码层中的掩码多头自注意力网络、残差连接、层正则化网络之后得到的中间向量，确定所述特征解码层的、所述编码器和所述解码器的注意力模型。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

8.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。