[发明专利]多语言语音合成和跨语言话音克隆

说明书

一种方法(300)包括接收要合成为第一语言的语音(150)的输入文本序列(114)并获得讲话者嵌入(116a)，该讲话者嵌入指定目标讲话者(10)的特定话音特征以用于将输入文本序列合成为克隆目标讲话者的话音的语音。目标讲话者包括不同于第一语言的第二语言的母语讲话者。该方法还包括通过处理输入文本序列和讲话者嵌入来使用文本到语音(TTS)模型(100)生成输入文本序列的输出音频特征表示(119)。输出音频特征表示包括讲话者嵌入指定的目标讲话者的话音特征。

技术领域

本公开涉及多语言语音合成和跨语言话音克隆。

背景技术

最近的端到端(E2E)神经文本至语音(TTS)模型使得能够通过在除了文本之外的潜在表示上调节语音合成来控制讲话者身份以及未标记语音属性，例如韵律。当使用语言相关输入表示或模型组件时，尤其是当每语言的训练数据的量不平衡时，扩展这些TTS模型以支持多种不相关的语言是非平凡的。

作为示例，在诸如普通话和英语的一些语言之间的文本表示方面可能有很少或没有重叠。因为来自双语讲话者的录音收集起来昂贵，所以在训练集中的每个讲话者只说一种语言的常见情况下，讲话者身份完美地与语言相关。这使得难以跨不同的语言转移话音，这是所希望的特征，特别是当特定语言的可用训练话音的数目小时。此外，对于具有借用或共享词如西班牙语(ES)和英语(EN)中的专有名词的语言，相同文本的发音可能不同。当单纯地训练的模型有时为特定讲话者生成带口音的语音时，这添加更多的歧义。

发明内容

本公开的一个方面提供一种用于从输入文本序列合成语音的方法。该方法包括：在数据处理硬件处接收要被合成为第一语言的语音的输入文本序列；以及通过数据处理硬件获得指定目标讲话者的特定话音特性以用于将输入文本序列合成为克隆目标讲话者的话音的语音的讲话者嵌入。目标讲话者包括与第一语言不同的第二语言的母语讲话者。该方法还包括：通过数据处理硬件使用文本至语音(TTS)模型来通过处理输入文本序列和讲话者嵌入而生成输入文本序列的输出音频特征表示。输出音频特征表示包括由讲话者嵌入指定的目标讲话者的话音特性。

本公开的实现方式可以包括以下可选特征中的一个或多个。在一些实现方式中，该方法还包括通过数据处理硬件获得指定语言相关信息的语言嵌入。在这些实现方式中，处理输入文本和讲话者嵌入进一步包括处理输入文本、讲话者嵌入和语言嵌入以生成输入文本的输出音频特征表示，该输出音频特征表示进一步具有由语言嵌入指定的语言相关信息。语言相关信息可以与目标讲话者的第二语言相关联，并且指定语言相关信息的语言嵌入可以是从由一个或多个不同的讲话者用第二语言讲出的训练话语获得的。在其他示例中，语言相关信息可以与第一语言相关联，并且指定语言相关信息的语言嵌入可以是从由一个或多个不同的讲话者用第一语言讲出的训练话语获得的。

在一些示例中，生成输入文本的输出音频特征表示包括对于多个时间步中的每个时间步：使用编码器神经网络来处理该时间步的输入文本序列的相应部分以生成该时间步的对应文本编码；以及使用解码器神经网络来处理该时间步的文本编码以生成该时间步的对应输出音频特征表示。这里，编码器神经网络可以包括卷积子网络和双向长短期记忆(LSTM)层。附加地，解码器神经网络可以包括自回归神经网络，该自回归神经网络包括长短期记忆(LTSM)子网络、线性变换和卷积子网络。

输出音频特征表示可以包括梅尔频谱图。在一些实现方式中，该方法还包括：通过数据处理硬件使用波形合成器来使输出音频特征表示转化成时域波形；以及通过数据处理硬件使用时域波形来生成输入文本序列的合成语音表示，该合成语音表示以第一语言克隆目标讲话者的话音。

可以在第一语言训练集和第二语言训练集上训练TTS模型。第一语言训练集包括用第一语言讲出的多个话语和对应参考文本，而第二语言训练集包括用第二语言讲出的多个话语和对应参考文本。在附加示例中，在一个或多个附加语言训练集上进一步训练TTS模型，一个或多个附加语言训练集中的每个附加语言训练集包括以相应语言讲出的多个话语和对应参考文本。这里，每个附加语言训练集的相应语言与每个其他附加语言训练集的相应语言不同并且与第一语言和第二语言不同。