[发明专利]语音合成方法、装置、可读介质及电子设备

权利要求书

1.一种语音合成方法，其特征在于，所述方法包括：

获取待合成文本和指定情感类型；所述指定情感类型为用户指定的，期望将待合成文本合成为符合指定情感类型的音频；

确定所述指定情感类型对应的指定声学特征；

将所述待合成文本和所述指定声学特征输入预先训练的语音合成模型，以获取所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频的声学特征与所述指定声学特征匹配，所述语音合成模型为根据不具有所述指定情感类型的语料训练得到的；

其中，所述语音合成模型用于：

通过所述待合成文本获得所述待合成文本对应的文本特征，和所述待合成文本对应的预测声学特征；所述文本特征表征所述待合成文本的文本向量，所述预测声学特征为语音合成模型根据待合成文本，预测出的符合待合成文本的声学特征；

通过所述指定声学特征、所述预测声学特征和所述文本特征，获得具有所述指定情感类型的所述目标音频。

2.根据权利要求1所述的方法，其特征在于，所述指定声学特征包括：基频、音量、语速中的至少一种，所述确定所述指定情感类型对应的指定声学特征，包括：

根据所述指定情感类型，和预设的情感类型与声学特征的关联关系，确定对应的所述指定声学特征。

3.根据权利要求1所述的方法，其特征在于，所述语音合成模型包括：第一编码器、第二编码器和合成器；

所述将所述待合成文本和所述指定声学特征输入预先训练的语音合成模型，以获取所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，包括：

通过所述第一编码器，提取所述待合成文本对应的所述文本特征；

通过所述第二编码器，提取所述待合成文本对应的所述预测声学特征；

通过所述合成器，根据所述指定声学特征、所述预测声学特征和所述文本特征，生成所述目标音频。

4.根据权利要求3所述的方法，其特征在于，所述文本特征包括多个文本元素，通过所述合成器，根据所述指定声学特征、所述预测声学特征和所述文本特征，生成所述目标音频，包括：

通过所述合成器，根据当前文本元素、历史梅尔频谱特征、所述指定声学特征和所述预测声学特征，确定当前时刻的梅尔频谱特征，所述当前文本元素为所述文本特征中当前时刻输入到所述合成器的文本元素，所述历史梅尔频谱特征为所述合成器确定的上一时刻的梅尔频谱特征；

通过所述合成器，根据每个时刻的梅尔频谱特征，生成所述目标音频。

5.根据权利要求1所述的方法，其特征在于，所述语音合成模型是通过如下方式训练获得的：

通过训练文本对应的不具有所述指定情感类型的训练音频，提取所述训练音频对应的真实声学特征；

将所述真实声学特征与所述训练文本输入所述语音合成模型，并根据所述语音合成模型的输出与所述训练音频，训练所述语音合成模型。

6.根据权利要求5所述的方法，其特征在于，所述语音合成模型包括：第一编码器、第二编码器和合成器，所述第一编码器和所述第二编码器之间设置有阻止结构，所述阻止结构用于阻止所述第二编码器将梯度回传至所述第一编码器；

所述将所述真实声学特征与所述训练文本输入所述语音合成模型，并根据所述语音合成模型的输出与所述训练音频，训练所述语音合成模型，包括：

通过所述第一编码器提取所述训练文本对应的训练文本特征；

通过所述第二编码器提取所述训练文本对应的预测训练声学特征；

通过所述合成器，根据所述真实声学特征、所述预测训练声学特征和所述训练文本特征，生成所述语音合成模型的输出。

7.根据权利要求6所述的方法，其特征在于，所述语音合成模型的损失函数由第一损失和第二损失确定，所述第一损失由所述语音合成模型的输出，与所述训练音频确定，所述第二损失由所述第二编码器的输出，与所述真实声学特征确定。