[发明专利]多语言语音合成和跨语言话音克隆

权利要求书

1.一种方法(300)，包括：

在数据处理硬件(121)处接收要被合成为第一语言的语音(150)的输入文本序列(114)；

通过所述数据处理硬件(121)获得讲话者嵌入(116a)，所述讲话者嵌入(116a)指定目标讲话者(10)的特定话音特性以用于将所述输入文本序列(114)合成为克隆所述目标讲话者(10)的话音的语音(150)，所述目标讲话者(10)包括与所述第一语言不同的第二语言的母语讲话者；以及

通过所述数据处理硬件(121)使用文本至语音(150)(TTS)模型来通过处理所述输入文本序列(114)和所述讲话者嵌入(116a)而生成所述输入文本序列(114)的输出音频特征表示(119)，所述输出音频特征表示(119)具有由所述讲话者嵌入(116a)指定的所述目标讲话者的所述话音特性。

2.根据权利要求1所述的方法(300)，进一步包括：

通过所述数据处理硬件(121)获得语言嵌入(117a)，所述语言嵌入(117a)指定语言相关信息，

其中，处理所述输入文本序列(114)和所述讲话者嵌入(116a)进一步包括处理所述输入文本序列(114)、所述讲话者嵌入(116a)和所述语言嵌入(117a)以生成所述输入文本序列(114)的所述输出音频特征表示(119)，所述输出音频特征表示(119)进一步具有由所述语言嵌入(117a)指定的所述语言相关信息。

3.根据权利要求2所述的方法(300)，其中：

所述语言相关信息与所述目标讲话者(10)的第二语言相关联；并且

指定所述语言相关信息的所述语言嵌入(117a)是从由一个或多个不同的讲话者用所述第二语言讲出的训练话语获得的。

4.根据权利要求2所述的方法(300)，其中：

所述语言相关信息与所述第一语言相关联；并且

指定所述语言相关信息的所述语言嵌入(117a)是从由一个或多个不同的讲话者用所述第一语言讲出的训练话语获得的。

5.根据权利要求1至4中的任一项所述的方法(300)，其中，生成所述输入文本序列(114)的所述输出音频特征表示(119)包括对于多个时间步中的每个时间步：

使用编码器神经网络(112)处理所述时间步的所述输入文本序列(114)的相应部分以生成所述时间步的对应文本编码(115)；以及

使用解码器神经网络(118)来处理所述时间步的所述文本编码(115)以生成所述时间步的对应输出音频特征表示(119)。

6.根据权利要求5所述的方法(300)，其中，所述编码器神经网络(112)包括卷积子网络和双向长短期记忆(LSTM)层。

7.根据权利要求5或6所述的方法(300)，其中，所述解码器神经网络(118)包括自回归神经网络，所述自回归神经网络包括长短期记忆(LTSM)子网络(220)、线性变换(230)和卷积子网络(240)。

8.根据权利要求1至7中的任一项所述的方法(300)，其中，所述输出音频特征表示(119)包括梅尔频谱图。

9.根据权利要求1至8中的任一项所述的方法(300)，进一步包括：

通过所述数据处理硬件(121)使用波形合成器(125)来使所述输出音频特征表示(119)转化成时域波形(126)；以及

通过所述数据处理硬件(121)使用所述时域波形(126)来生成所述输入文本序列(114)的合成语音(150)表示，所述输入文本序列(114)的合成语音(150)表示以所述第一语言克隆所述目标讲话者(10)的话音。