[发明专利]语音合成模型的训练方法、系统、电子设备和存储介质

权利要求书

1.一种语音合成模型的训练方法，包括：

采集多语种的多组音频数据；每组语种音频数据中包括多个说话人发音的语音数据；根据所述多组音频数据获取对应的语种编号；根据多个说话人发音的语音数据获取说话人信息；

根据每种语言的发音对照国际音标书写规范，获取所述多语种的音素对应国际音标符号的音素ipa映射表；根据每种语言的发音的音调获取音调序号；

根据所述音素ipa映射表和所述多组音频数据所对应的多语种的待训练文本，获取所述待训练文本所对应的待训练符号序列；所述待训练符号序列为国际音标符号系列且包括位置编码；

采用加入注意力机制的编码器-解码器Encoder-Decoder框架的训练模型；将所述待训练符号序列作为所述编码器的输入；所述编码器的输出数据合并所述语种编号、声道序号以及所述说话人信息输入到所述解码器中，训练获得所述语音合成模型。

2.根据权利要求1所述的训练方法，其中，在所述编码器和解码器之间设置注意力机制模块；所述注意力机制模块输出当前时刻的编码器输出信息的注意力概率；所述解码器根据所述编码器和所述注意力机制模块的输出训练且输出声学特征。

3.根据权利要求1所述的训练方法，其中，所述采集多语种的多组音频数据；每组语种音频数据中包括多个说话人发音的语音数据；根据所述多组音频数据获取对应的语种编号；根据多个说话人发音的语音数据获取说话人信息的步骤还包括：

根据多组音频数据播放时的韵律信息获取音素级别信息以及句子级别信息。

4.根据权利要求3所述的训练方法，其中，所述编码器的输出数据合并所述语种编号、声道序号以及所述说话人信息输入到所述解码器中的步骤还包括：

所述编码器的输出数据还合并所述音素级别信息以及句子级别信息输入到所述解码器中。

5.根据权利要求1所述的训练方法，其中，所述采集多语种的多组音频数据；每组语种音频数据中包括多个说话人发音的语音数据；根据所述多组音频数据获取对应的语种编号；根据多个说话人发音的语音数据获取说话人信息的步骤还包括：根据所述多组音频数据获取音频数据的采集基频和采集音量信息。

6.根据权利要求5所述的训练方法，其中，在所述编码器和解码器之间还设置基频/音量适配器；所述基频/音量适配器的参数根据所述采集基频和采集音量信息配置。

7.一种语音合成系统，其包括如1～6中任一项语音合成模型的训练方法训练所得到的语音合成模型、文本处理单元和合成音频单元，其中，

所述文本处理单元，配置为将待合成文本通过多语种的音素ipa、音调对应国际音标符号和设定音调符号的音素ipa映射表转换为待合成音素ipa序列；获取待合成的指定发音人信息；获取待合成语种信息；

所述语音合成模型，配置为根据所述待合成音素ipa序列、待合成的指定发音人信息和待合成语种信息，识别获取待合成文本所对应的待合成声学特征；

所述合成音频单元，配置为将所述待合成声学特征转换为音频数据。

8.根据权利要求7所述的语音合成系统，所述合成音频单元包括：

后处理单元和声码器；所述后处理单元能够强化所述声学特征；所述声码器为Lpcne声码器。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。