[发明专利]用于多模式双语预训练和语音翻译的融合声学和文本编码

权利要求书

1.一种用于训练神经网络模型的计算机实现的方法，所述方法包括：

掩蔽语音音频的声学特征序列中的一个或多个声学特征，以获得掩蔽的声学特征序列；

将所述掩蔽的声学特征序列编码为声学嵌入序列；

掩蔽用于所述语音音频的转录的标记序列中的一个或多个标记，以获得掩蔽的标记序列；

使用所述模型中的多模式转换器编码器来将所述掩蔽的声学特征序列和所述掩蔽的标记序列编码为声学和文本输入两者的统一潜在表示；

基于所述统一潜在表示生成重构的声学特征序列；

基于所述统一潜在表示生成对应于掩蔽的所述一个或多个标记的一个或多个重构标记；以及

使用包括语音重构损失和文本重构损失的整体损失来训练所述多模式转换器编码器。

2.如权利要求1所述的计算机实现的方法，其中所述神经网络模型是用于端到端语音翻译的模型。

3.如权利要求1所述的计算机实现的方法，其中使用随机声学特征掩蔽函数对所述声学特征序列中的所述一个或多个声学特征进行随机掩蔽，使用随机标记掩蔽函数对所述标记序列中的所述一个或多个标记进行随机掩蔽。

4.如权利要求1所述的计算机实现的方法，其中将所述掩蔽的声学特征序列和所述掩蔽的标记序列级联在一起以进行编码。

5.如权利要求1所述的计算机实现的方法，其中所述语音重构损失基于所述声学特征序列与所述重构的声学特征序列之间的均方误差。

6.如权利要求1所述的计算机实现的方法，其中所述文本重构损失是基于所述一个或多个重构标记的交叉熵损失。

7.如权利要求1所述的计算机实现的方法，其中所述声学特征序列是所述语音音频的声谱图或梅尔声谱图，每个声学特征是帧级语音特征。

8.一种用于训练语音翻译模型的计算机实现的方法，所述方法包括：

将声学嵌入序列与源语言嵌入结合，以形成结合声学嵌入的源语言，所述声学嵌入序列对应于语音音频；

将掩蔽的源语言标记序列与源语言嵌入结合，以形成结合标记的源语言序列，通过掩蔽标记序列中的一个或多个标记获得所述源语言标记序列，所述标记序列中的一个或多个标记对应于源语言中的所述的语音音频的转录；

将掩蔽的目标语言标记序列与目标语言嵌入结合，以形成结合标记的目标语言序列，通过掩蔽标记序列中的一个或多个标记获得所述目标语言标记序列，所述标记序列中的一个或多个标记对应于用于所述源语言中的转录的目标语言中的翻译转录；

将所述结合声学嵌入的源语言、所述结合标记的源语言序列和所述结合标记的目标语言序列级联，以形成级联嵌入；

通过所述语音翻译模型中的多模式转换器编码器，将所述级联嵌入编码为对语音、源语言文本和目标语言文本的统一表示；

基于所述统一表示来重构重构的声学特征序列、一个或多个重构源标记、一个或多个重构目标标记；以及

使用一种或多种损失来训练所述语音翻译模型，所述一种或多种损失选自：基于所述重构的声学特征序列的语音重构损失、基于所述一个或多个重构源标记的源文本重构损失、以及基于所述一个或多个重构目标标记的目标文本重构损失。

9.如权利要求8所述的计算机实现的方法，其中通过对掩蔽的声学特征序列进行编码获得所述声学嵌入序列，所述掩蔽的声学特征序列对应于所述语音音频，所述掩蔽的声学特征序列是通过随机掩蔽用于所述语音音频的声学特征序列中的一个或多个声学特征而生成的。

10.如权利要求8所述的计算机实现的方法，其中使用所述语音重构损失、所述源文本重构损失和所述目标文本重构损失的总和来训练所述语音翻译模型。

11.如权利要求8所述的计算机实现的方法，其中所述语音重构损失基于所述声学特征序列与所述重构的声学特征序列之间的均方误差。