[发明专利]基于特征迁移损失的语音翻译装置的训练方法

说明书

本公开提供了一种基于特征迁移损失的语音翻译装置的训练方法，包括：对语音翻译装置的语音识别模块进行语音序列与文本序列之间的对齐训练；对语音翻译装置的语义编码器和解码器进行文本翻译训练；对对齐训练之后的语音识别模块、文本翻译训练后的语义编码器以及文本翻译训练之后的解码器进行语音翻译训练；基于文本翻译训练中的语义编码器生成的源语言文本序列的包含语义信息的表示及语音翻译训练中的语义编码器生成的源语言语音特征序列的包含语义信息的表示，构建特征迁移损失函数；基于特征迁移损失函数，最小化特征迁移损失，以获得语音翻译装置。本公开还提供了一种语音翻译装置、电子设备以及可读存储介质。

技术领域

本公开涉及语音翻译技术领域，本公开尤其涉及一种基于特征迁移 损失的语音翻译装置的训练方法、基于特征迁移损失的语音翻译装置、 电子设备及存储介质。

背景技术

在机器翻译领域，端到端的语音翻译是一种跨语言跨模态的翻译任 务，不仅需要处理输入较长的语音序列并提取其中的声学信息，而且需 要学习源语言语音和目标语言文本之间的对其关系，导致端到端的语音 翻译装置的建模困难，且建模后的模型的性能欠佳。

语音模态和文本模态之间的模态差异加剧了模型的建模难度。

语音与文本还存在表示长度不一致的问题，进一步地加剧了模型的 建模难度。申请人的系列专利申请“基于无效信息过滤的语音翻译方法 及装置”中提出了过滤无效信息以解决语音与文本表示长度不一致的问 题。

但是，在建模过程中，源语言语音序列与目标语言文本序列之间的 对齐关系的学习获取也非常困难。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于特征 迁移损失的语音翻译装置的训练方法、基于特征迁移损失的语音翻译装 置、电子设备及存储介质。

根据本公开的一个方面，提供一种基于特征迁移损失的语音翻译 装置的训练方法，包括：

S102、基于包括源语言语音特征序列-源语言文本序列-目标语言 文本序列的数据集对语音翻译装置的语音识别模块进行语音序列与文 本序列之间的对齐训练，获得对齐训练之后的语音识别模块；

S104、基于所述包括源语言语音特征序列-源语言文本序列-目标 语言文本序列的数据集对语音翻译装置的语义编码器和解码器进行文 本翻译训练，以获得文本翻译训练之后的语义编码器和解码器；

S106、基于所述包括源语言语音特征序列-源语言文本序列-目标 语言文本序列的数据集对所述对齐训练之后的语音识别模块、所述文 本翻译训练后的语义编码器以及文本翻译训练之后的解码器进行语音 翻译训练，以获得语音翻译训练之后的语音识别模块、语义解码器以 及解码器；

S108、基于所述文本翻译训练中的所述语义编码器生成的源语言 文本序列的包含语义信息的表示(h_x)及所述语音翻译训练中的所述 语义编码器生成的源语言语音特征序列的包含语义信息的表示(h_s)， 构建特征迁移损失函数(L_AD)；

S110、基于所述特征迁移损失函数，最小化特征迁移损失，以获 得所述语音翻译装置。

根据本公开的至少一个实施方式的基于特征迁移损失的语音翻译 装置的训练方法，所述源语言文本序列以及所述源语言语音特征序列 的长度相同。

根据本公开的至少一个实施方式的基于特征迁移损失的语音翻译 装置的训练方法，所述特征迁移损失函数基于源语言文本序列的包含 语义信息的词级别表示与源语言语音特征序列的包含语义信息的词级 别表示的L2范数获得。

根据本公开的至少一个实施方式的基于特征迁移损失的语音翻译 装置的训练方法，所述特征迁移损失函数基于源语言文本序列的包含 语义信息的序列级别表示与源语言语音特征序列的包含语义信息的序 列级别表示的L2范数获得。