[发明专利]基于特征迁移损失的语音翻译装置的训练方法

权利要求书

1.一种基于特征迁移损失的语音翻译装置的训练方法，其特征在于，包括：

S102、基于包括源语言语音特征序列-源语言文本序列-目标语言文本序列的数据集对语音翻译装置的语音识别模块进行语音序列与文本序列之间的对齐训练，获得对齐训练之后的语音识别模块；

S104、基于所述包括源语言语音特征序列-源语言文本序列-目标语言文本序列的数据集对语音翻译装置的语义编码器和解码器进行文本翻译训练，以获得文本翻译训练之后的语义编码器和解码器；

S106、基于所述包括源语言语音特征序列-源语言文本序列-目标语言文本序列的数据集对所述对齐训练之后的语音识别模块、所述文本翻译训练后的语义编码器以及文本翻译训练之后的解码器进行语音翻译训练，以获得语音翻译训练之后的语音识别模块、语义解码器以及解码器；

S108、基于所述文本翻译训练中的所述语义编码器生成的源语言文本序列的包含语义信息的表示及所述语音翻译训练中的所述语义编码器生成的源语言语音特征序列的包含语义信息的表示，构建特征迁移损失函数；以及

S110、基于所述特征迁移损失函数，最小化特征迁移损失，以获得所述语音翻译装置。

2.根据权利要求1所述的基于特征迁移损失的语音翻译装置的训练方法，其特征在于，S102中，基于包括源语言语音特征序列-源语言文本序列-目标语言文本序列的数据集对语音翻译装置的语音识别模块进行语音特征序列与文本序列之间的对齐训练，包括：

所述语音识别模块基于所述数据集中的源语言语音特征序列生成多个源语言文本预测序列，基于所述多个源语言文本预测序列以及所述数据集中的相应的源语言文本序列进行所述对齐训练。

3.根据权利要求2所述的基于特征迁移损失的语音翻译装置的训练方法，其特征在于，所述语音识别模块包括多头注意力网络、前馈神经网络以及softmax函数模块，所述源语言语音特征序列作为所述多头注意力网络的输入，所述多头注意力网络的输出作为所述前馈神经网络的输入，所述前馈神经网络的输出作为所述softmax函数模块的输入，所述soft函数模块输出所述多个源语言文本预测序列。

4.根据权利要求3所述的基于特征迁移损失的语音翻译装置的训练方法，其特征在于，所述语音识别模块还包括CTC损失函数模块，所述CTC损失函数模块基于各个所述源语言文本预测序列的预测概率之和构建CTC损失函数，最小化CTC损失以结束所述对齐训练。

5.根据权利要求4所述的基于特征迁移损失的语音翻译装置的训练方法，其特征在于，S104、基于包括源语言语音特征序列-源语言文本序列-目标语言文本序列的数据集对语音翻译装置的语义编码器和解码器进行文本翻译训练，以获得文本翻译训练之后的语义编码器和解码器，包括：

构建文本翻译任务的目标函数，最小化所述文本翻译任务的目标函数的最大似然损失，以结束对语义编码器和解码器的文本翻译训练；其中，文本翻译任务的目标函数表达为：其中，x表示源语言文本序列，y表示目标语言文本序列，D_ST表示数据集。

6.根据权利要求5所述的基于特征迁移损失的语音翻译装置的训练方法，其特征在于，S106中，基于所述包括源语言语音特征序列-源语言文本序列-目标语言文本序列的数据集对所述对齐训练之后的语音识别模块、所述文本翻译训练后的语义编码器以及文本翻译训练之后的解码器进行语音翻译训练，包括：

构建语音翻译任务的目标函数，最小化所述语音翻译任务的目标函数的最大似然损失，以结束对语音识别模块、语义编码器及解码器的语音翻译训练；其中，语音翻译任务的目标函数表达为：其中，s表示源语言语音特征序列，y表示目标语言文本序列，D_ST表示数据集。