[发明专利]语音合成模型训练方法和语音合成方法

权利要求书

1.一种语音合成模型训练方法，所述语音合成模型包括：编码器、说话人嵌入预测网络、时长拓展模块和解码器；所述方法包括：

对训练数据进行预处理以得到样本训练数据集和目标说话人数据集；

基于所述样本训练数据集训练所述语音合成模型；

基于所述目标说话人数据集对所述说话人嵌入预测网络进行自适应训练，以用于基于待合成文本预测说话人嵌入预测值，

所述训练数据包括多说话人训练数据集和自适应目标说话人数据集，所述多说话人训练数据集中包括对应于多个说话人的音频信号-文本对，所述自适应目标说话人数据集中包括对应于目标说话人的音频信号-文本对；

所述对训练数据进行预处理以得到样本训练数据集和目标说话人数据集包括：

提取所述自适应目标说话人数据集中的目标说话人的音频信号中的声学特征以得到包含有对应于目标说话人的声学特征-文本对的目标说话人数据集；

提取所述多说话人训练数据集中的多说话人的音频信号中的声学特征以得到包含有对应于多说话人的声学特征-文本对的样本训练数据集，

所述方法还包括：基于所述样本训练数据集训练自动语音识别模型，以从对齐信息中提取时长信息并对相应的声学特征进行切分得到音素特征片段，

所述语音合成模型还包括用于预测时长信息的时长预测网络，所述时长预测网络的输入端与所述编码器的输出端连接，所述时长预测网络的输出端与所述时长拓展模块的输入端连接；

所述基于所述样本训练数据集训练所述语音合成模型包括：

使用音素特征片段和相应的时长信息作为输入计算所述语音合成模型的声学特征重构误差，以训练所述编码器、时长拓展模块和解码器；

使用音素特征片段和相应的时长信息作为输入计算时长预测误差和说话人嵌入预测误差，以训练所述时长预测网络和所述说话人嵌入预测网络。

2.根据权利要求1所述的方法，其特征在于，所述编码器和所述说话人嵌入预测网络的输出端分别连接至所述时长拓展模块的输入端，所述时长拓展模块的输出端连接至所述解码器的输入端，所述解码器用于生成声学特征并输入至声码器合成音频信号。

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标说话人数据集对所述说话人嵌入预测网络进行自适应训练包括：

基于所述目标说话人数据集计算所述说话人嵌入预测网络的预测误差以对所述说话人嵌入预测网络进行自适应训练。

4.一种语音合成方法，包括：

对待合成文本进行预处理；

将预处理结果输入至根据权利要求1-3中任一项所述的方法训练得到的语音合成模型，以得到对应于所述待合成文本的音频信号。

5.根据权利要求4所述的方法，其特征在于，所述对待合成文本进行预处理包括：

对所述待合成文本进行标准化，通过拼音字典转换成拼音音素序列；

使用预设查找表把所述拼音音素序列转换成可训练的音素嵌入。

6.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求4或5所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求4或5所述方法的步骤。