[发明专利]语音合成方法、装置、电子设备以及存储介质

权利要求书

1.一种语音合成方法，包括：

获取待合成的目标文本，以及说话者的标识；

获取所述目标文本中至少一个字符的发音信息；

根据所述目标文本所属的目标语言，对所述目标文本中所述至少一个字符的所述发音信息进行特征提取，以生成所述目标文本的语言学特征；

根据所述目标文本的语言学特征和所述说话者的标识，进行语音合成，以得到目标语音；

所述根据所述目标文本的语言学特征和所述说话者的标识，进行语音合成，以得到目标语音，包括：

将所述目标文本的语言学特征，输入语音合成模型的第一编码器，得到特征编码；

将所述说话者的标识，输入所述语音合成模型的第二编码器，得到所述说话者的音色编码；

将所述语言学特征和所述说话者的标识，输入所述语音合成模型的风格网络得到所述目标文本和所述说话者对应的风格编码；

将所述风格编码、所述特征编码和所述音色编码融合，得到融合编码；

采用所述语音合成模型的解码器对所述融合编码进行解码，以得到所述目标语音的声学谱。

2.根据权利要求1所述的方法，其中，所述根据所述目标文本所属的目标语言，对所述目标文本中所述至少一个字符的所述发音信息进行特征提取，以生成所述目标文本的语言学特征，包括：

根据所述目标文本中所述至少一个字符的发音信息，确定所述至少一个字符包含的音素，以及所述音素组合得到的音节或词所对应的音调；

根据所述目标文本所属的目标语言类型，对所述音素添加后缀，以及确定所述音调的音调编码；

根据添加所述后缀后的所述音素和所述音调编码，以及所述音素在所属音节中的位置和/或所述音节在所属词中的位置，生成所述语言学特征中对应的特征项。

3.根据权利要求2所述的方法，其中，所述根据所述目标文本中所述至少一个字符的发音信息，确定所述至少一个字符包含的音素，以及所述音素组合得到的音节或词所对应的音调，包括：

对所述目标文本中所述至少一个字符，根据所述字符的发音信息中的声调、重音和儿化音中的一个或多个组合，确定所述音素组合得到的音节或词所对应的音调。

4.根据权利要求2所述的方法，其中，所述根据所述目标文本所属的目标语言，对所述目标文本中所述至少一个字符的所述发音信息进行特征提取，以生成所述目标文本的语言学特征，还包括：

根据所述目标文本所属的目标语言，对所述目标文本分词，并确定各分词词汇对应的韵律；

根据各所述分词词汇对应的韵律，生成所述语言学特征中对应的特征项。

5.根据权利要求1所述的方法，其中，所述将所述目标文本的语言学特征，输入语音合成模型的第一编码器，得到特征编码之前，还包括：

根据所述语音合成模型的所述第一编码器、所述第二编码器、所述解码器和参考网络，生成训练模型；其中，所述第一编码器、所述第二编码器和所述参考网络的输出与所述解码器的输入连接；

采用训练数据，对所述训练模型和所述风格网络进行训练；

根据训练后的所述训练模型中所述第一编码器、所述第二编码器和所述解码器，以及经过训练的所述风格网络，生成所述语音合成模型。

6.根据权利要求5所述的方法，其中，所述训练数据包括文本样本的语言学特征，以及所述文本样本对应的语音样本和所述语音样本的说话者标识；

所述采用训练数据，对所述训练模型和所述风格网络进行训练，包括：

将所述文本样本的语言学特征输入所述训练模型中的所述第一编码器，将所述语音样本的说话者标识输入所述训练模型的所述第二编码器；

将所述语音样本输入所述训练模型的参考网络；

对所述参考网络的输出、所述第一编码器的输出和所述第二编码器的输出进行融合，并采用所述训练模型中的所述解码器解码，以得到预测声学谱；

根据所述预测声学谱与所述语音样本的声学谱之间的差异，对所述训练模型进行模型参数调整；

将所述文本样本的语言学特征和所述语音样本的说话者标识输入所述风格网络；

根据所述风格网络的输出与所述参考网络的输出之间的差异，对所述风格网络进行模型参数调整。