[发明专利]翻译模型的生成方法、装置、可读存储介质及电子设备

说明书

本公开涉及一种翻译模型的生成方法、装置、可读存储介质及电子设备。所述翻译模型包括编码器和解码器，其中，所述编码器包括多个特征提取层，所述方法包括：获取所述编码器的所述多个特征提取层之间的层间注意力模型；根据所述编码器的层间注意力模型，确定编码器解码器的注意力模型；基于所述层间注意力模型和所述编码器解码器的注意力模型，生成所述翻译模型。如此，通过层间注意力模型，综合考虑编码器的每个特征提取层输出的特征向量，使得编码器最终输出的向量包含源语言文本序列更多维度的特征信息，进而使解码器生成的译文更能准确地表达原文含义，即，提高了翻译模型对原文翻译的准确度。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种翻译模型的生成方法、装置、可读存储介质及电子设备。

背景技术

机器翻译是指利用机器将一种语言(以下简称源语言)翻译成另一种语言(以下简称目标语言)。当前主流机器翻译模型主要是基于Transformer模型进行构建的，Transformer模型本质是一个Seq2Seq(序列到序列)模型，该模型主体为编码器和解码器结构。编码器用于将源语言文本序列表达为固定长度的向量，并发送给解码器，解码器用于将这个固定长度的向量转化成目标语言的文本序列，如此，即可实现将源语言翻译成目标语言的目的。

发明内容

本公开的目的是提供一种翻译模型的生成方法、装置、可读存储介质及电子设备，以提高对源语言文本翻译的准确性。

为了实现上述目的，本公开提供一种翻译模型的生成方法，所述翻译模型包括编码器和解码器，其中，所述编码器包括多个特征提取层，所述方法包括：

获取所述编码器的所述多个特征提取层之间的层间注意力模型；

根据所述编码器的层间注意力模型，确定编码器解码器的注意力模型；

基于所述层间注意力模型和所述编码器解码器的注意力模型，生成所述翻译模型。

可选地，所述解码器包括多个特征解码层；所述获取所述编码器的所述多个特征提取层之间的层间注意力模型，包括：

针对每一所述特征解码层，根据所述特征解码层的输入向量、所述编码器每一所述特征提取层的输入向量和每一所述特征提取层的输出向量，确定所述特征解码层的、所述多个特征提取层之间的层间注意力模型。

可选地，所述根据所述编码器的层间注意力模型，确定编码器解码器的注意力模型，包括：

针对每一所述特征解码层，根据所述特征解码层的、所述层间注意力模型的输出向量，以及所述特征解码层的输入向量经所述特征解码层中的掩码多头自注意力网络、残差连接、层正则化网络之后得到的中间向量，确定所述特征层的、所述编码器和所述解码器的注意力模型。

可选地，所述编码器包括M1个特征提取层，所述M1个特征提取层依次相连，M1为大于或等于2的整数；

其中，依次相连的M1个特征提取层中的第一个特征提取层的输入向量为输入词嵌入和输入词的位置编码，第K个特征提取层的输入向量为第K-1个特征提取层的输出向量，其中，K的取值范围为2到M1。

可选地，所述解码器包括M2个特征解码层，所述M2个特征解码层依次相连，M2为大于或等于2的整数；

其中，依次相连的M2个特征解码层中的第一个特征解码层的输入向量为输出词嵌入和输出词的位置编码，第N个特征解码层的输入向量为第N-1个特征解码层的输出向量，其中，N的取值范围为2到M2。

可选地，所述基于所述层间注意力模型和所述编码器解码器的注意力模型，生成所述翻译模型，包括：

基于层间注意力模型和编码器解码器的注意力模型，对所述编码器和所述解码器进行训练，生成翻译模型。