[发明专利]语音合成模型训练和语音合成方法、设备及存储介质

权利要求书

1.一种语音合成模型训练方法，其特征在于，包括：

获取多个文本样本；并利用第一语音合成模型，合成所述多个文本样本对应的多个音频样本；

利用所述多个文本样本及所述多个音频样本进行模型训练，以得到第二语音合成模型；

其中，所述第一语音合成模型可合成待合成文本中属于设定文本的文本片段的音频；所述第二语音合成模型可合成所述待合成文本中不属于所述设定文本的文本片段的音频。

2.根据权利要求1所述的方法，其特征在于，所述利用第一语音合成模型，合成所述多个文本样本对应的多个音频样本，包括：

将所述多个文本样本输入所述第一语音合成模型；

在所述第一语音合成模型中，对所述多个文本样本进行语言学特征预测，以得到所述多个文本样本的文本特征；

根据所述多个文本样本的文本特征，合成所述多个音频样本。

3.根据权利要求2所述的方法，其特征在于，所述多个文本样本包括：第一文本样本和第二文本样本；所述多个音频样本包括第一文本样本对应的第一音频样本和第二文本样本对应的第二音频样本；

所述利用所述多个文本样本及所述多个音频样本进行模型训练，以得到第二语音合成模型，包括：

对所述第二音频样本进行声学分析，得到所述第二音频样本的声学特征；

利用所述第二音频样本及其声学特征，构建所述第二语音合成模型中的音频库；

利用所述第一文本样本的文本特征、所述第一音频样本以及所述音频库进行模型训练，得到所述第二语音合成模型中的参数合成模型。

4.根据权利要求3所述的方法，其特征在于，所述利用所述第一样本的文本特征、所述第一音频样本以及所述音频库进行模型训练，得到所述第二语音合成模型中的参数合成模型，包括：

对所述第一音频样本进行音素切分，以得到所述第一音频样本的音素切分信息；

将所述第一文本样本的文本特征与所述音素切分信息进行时间对齐，得到所述第一文本样本的对齐后的文本特征；

利用所述对齐后的文本特征、所述第一音频样本以及所述音频库进行模型训练，以得到所述参数合成模型。

5.根据权利要求4所述的方法，其特征在于，所述利用所述对齐后的文本特征、所述第一音频样本以及所述音频库进行模型训练，包括：

以第一损失函数最小化为训练目标，利用所述对齐后的文本特征和所述音频库进行模型训练，得到所述参数合成模型；

所述第一损失函数是根据参数合成模型训练得到的音频与所述第一音频样本确定的。

6.根据权利要求5所述的方法，其特征在于，所述参数合成模型包括：声学特征提取层和拼接层；在对参数合成模型进行训练时，包括：

将所述对齐后的文本特征输入处于训练阶段的声学特征提取层，得到所述第一文本样本的第一声学特征；并将所述第一声学特征输入所述拼接层；

在所述拼接层，利用所述第一声学特征在所述音频库中进行索引，以得到所述参数合成模型训练得到的音频。

7.根据权利要求3所述的方法，其特征在于，在进行参数合成模型训练时，还包括：

计算所述参数合成模型训练得到的音频与所述第一音频样本之间的相似性；

若计算出的相似性不满足设定的相似条件，则替换新的文本样本作为所述第一文本样本，并重复执行参数合成模型训练过程，直至所述参数合成模型训练得到的音频与所述第一音频样本之间的相似性满足所述设定的相似条件；

其中，所述新的文本样本的数据量大于所述第一文本样本的数据量，和/或，所述新的文本样本的数据分布与所述第一文本样本的数据分布不同。

8.根据权利要求2所述的方法，其特征在于，所述根据所述多个文本样本的文本特征，合成所述多个音频样本，包括：

对所述多个文本样本的文本特征进行声学分析，得到所述多个文本样本的第二声学特征；

根据所述多个文本样本的第二声学特征，合成所述多个音频样本。