[发明专利]利用多级别上下文特征的神经文本到语音合成

说明书

本公开提供了一种用于通过神经文本到语音(TTS)合成来生成语音的方法和装置。可以获得文本输入。可以生成所述文本输入的音素特征。可以基于与所述文本输入相关联的一组句子来生成所述文本输入的上下文特征。可以基于所述音素特征和所述上下文特征来生成与所述文本输入相对应的语音波形。

背景技术

文本到语音(TTS)合成旨在基于文本输入来生成对应的语音波形。TTS合成广泛地用于语音到语音翻译、对特定用户的语音定制、故事中的角色扮演等。神经TTS系统被越来越多地用于实施TTS合成，并且正在成为人工智能(AI)领域近些年的研究热点。神经TTS系统可以基于文本输入预测声学特征，并进而基于所预测的声学特征来生成语音波形。与需要良好设计的前端语言特征的传统TTS技术不同，神经TTS系统是采用端到端结构来建立模型的，并且可以直接基于例如文本-语音数据对来进行训练。神经TTS系统可以联合地优化语音的发音、韵律等，这将导致比传统TTS技术更自然的合成语音。

发明内容

提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。

本公开的实施例提供了一种用于通过神经TTS合成来生成语音的方法和装置。可以获得文本输入。可以生成所述文本输入的音素特征。可以基于与所述文本输入相关联的一组句子来生成所述文本输入的上下文特征。可以基于所述音素特征和所述上下文特征来生成与所述文本输入相对应的语音波形。

应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。

附图说明

以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。

图1示出了示例性传统神经TTS系统。

图2示出了根据本公开实施例的示例性神经TTS系统。

图3是示出了根据本公开实施例的上下文特征的示意图。

图4示出了根据本公开实施例的用于生成当前语义特征的示例性过程。

图5示出了根据本公开实施例的用于生成历史声学特征的示例性过程。

图6示出了根据本公开实施例的声学编码器的示例性实现方式。

图7示出了根据本公开实施例的用于生成历史语义特征的示例性过程。

图8示出了根据本公开实施例的用于生成将来语义特征的示例性过程。

图9示出了根据本公开实施例的用于生成段落语义特征的示例性过程。

图10示出了根据本公开实施例的用于生成位置特征的示例性过程。

图11示出了根据本公开实施例的另一示例性神经TTS系统。

图12示出了根据本公开实施例的又一示例性神经TTS系统。

图13是根据本公开实施例的用于通过神经TTS合成来生成语音的示例性方法的流程图。

图14示出了根据本公开实施例的用于生成神经TTS系统的训练数据的示例性过程。

图15示出了根据本公开实施例的用于训练神经TTS系统的示例性过程。

图16是根据本公开实施例的用于通过神经TTS合成来生成语音的示例性方法的流程图。

图17示出了根据本公开实施例的用于通过神经TTS合成来生成语音的示例性装置。