[发明专利]一种语音合成方法、装置、设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，所述方法包括：

接收目标文本；

将所述目标文本转换为拼音序列；

基于选定的目标语言标签，利用声学模型将所述拼音序列转换为声学特征，所述声学特征为所述目标语言标签对应的特征；其中，所述声学模型中包括语言标签结构；

采用神经声码器将所述声学特征合成音频数据，所述音频数据为所述目标语言标签对应的语言；所述声学模型和所述神经声码器基于多种语言的语音样本训练获得。

2.根据权利要求1所述的方法，其特征在于，所述声学模型中还包括音色标签结构；

所述基于选定的目标语言标签，利用声学模型将所述拼音序列转换为声学特征，还包括：

基于选定的目标语言标签和目标音色标签，利用所述声学模型将所述拼音序列转换为声学特征，所述声学特征为所述目标语言标签以及所述目标音色标签对应的特征；

合成的所述音频数据的发音为所述目标音色标签对应的音色。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于国际音标将多种语言的拼音序列统一为国际音标拼音方案；

所述将所述目标文本转换为拼音序列包括：

基于所述国际音标拼音方案将所述目标文本转换为对应的拼音序列。

4.根据权利要求1所述的方法，其特征在于，所述声学模型采用非自回归语音合成模型，所述声学模型中还包括参考编码器结构和文本编码器结构，并在所述文本编码器结构中增加对抗损失。

5.根据权利要求1所述的方法，其特征在于，在训练所述声学模型时，所述方法包括：

多种语言的语音样本的数据量相同，基于所述多种语言的语音样本训练获得初始声学模型；

采集重要语言的附加语音样本，基于所述附加语音样本对所述初始声学模型进行模型优化训练，获得所述声学模型；其中所述重要语言为所述多种语言中的至少一种。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述声学模型的训练方法包括：

基于训练文本采集多种语言的语音样本；

将所述训练文本转换为对应的拼音序列；

设置声学模型的模型结构，所述模型结构包括语言标签结构，将所述训练文本对应的拼音序列作为所述声学模型的输入，将多种语言对应的语音样本作为所述声学模型选定对应的语言标签时的输出，进行模型训练，直至满足预设要求。

7.一种语音合成装置，其特征在于，所述装置包括：

文本接收模块，用于接收目标文本；

拼音转换模块，用于将所述目标文本转换为拼音序列；

声学特征确定模块，用于基于选定的目标语言标签，利用声学模型将所述拼音序列转换为声学特征，所述声学特征为所述目标语言标签对应的特征；其中，所述声学模型中包括语言标签结构；

语音合成模块，用于采用神经声码器将所述声学特征合成音频数据，所述音频数据为所述目标语言标签对应的语言；所述声学模型和所述神经声码器基于多种语言的语音样本训练获得。

8.根据权利要求7所述的装置，其特征在于，所述声学模型中还包括音色标签结构；

所述语音合成模块还用于基于选定的目标语言标签和目标音色标签，利用所述声学模型将所述拼音序列转换为声学特征，所述声学特征为所述目标语言标签以及所述目标音色标签对应的特征；其中，所述语音合成模块合成的所述音频数据的发音为所述目标音色标签对应的音色。

9.一种语音合成设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该设备实现如权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。