[发明专利]训练频谱合成模型和合成音频的方法、终端及存储介质

说明书

本申请公开了一种训练频谱合成模型和合成音频的方法、终端及存储介质，属于互联网技术领域。该方法包括：将训练样本输入初始频谱合成模型，训练样本包括文本样本、对应的语音样本及标准意图向量；提取文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量；根据样本文本特征信息和预测意图向量，确定文本样本对应的预测频谱数据；根据预测频谱数据和标准频谱数据、以及预测意图向量和标准意图向量，对初始频谱合成模型进行调参。由于本申请充分考虑到说话者的说话意图对发音的影响，进而使根据频谱合成模型输出的预测频谱合成的音频更加的自然，提高了合成音频的质量。

技术领域

本申请涉及互联网技术领域，特别涉及一种训练频谱合成模型和合成音频的方法、终端及存储介质。

背景技术

随着科学技术的发展，有声小说、有声资讯变的越来越普遍，这使得基于文本自动合成音频的需求越来越迫切。

相关技术中根据文本生成合成音频的方案为：对目标文本进行特征提取，获取该目标文本对应的目标文本特征信息。将目标文本特征信息输入预先训练的频谱合成模型，得到目标文本对应的目标频谱数据。将目标文本对应的目标频谱数据输入声码器，得到目标文本对应的合成音频。其中，文本特征信息包括音素特征信息、分词特征信息以及韵律特征信息。

由于上述合成音频仅仅是基于目标文本特征信息生成的，发音比较生硬机械。

发明内容

本申请实施例提供了一种训练频谱合成模型和合成音频的方法、终端及存储介质，由于本申请充分考虑到说话者的说话意图对发音的影响，使得合成音频的发音更加的自然，提高了合成音频的质量。该技术方案如下：

第一方面，本申请实施例提供了一种训练频谱合成模型的方法，所述方法包括：

将训练样本输入初始频谱合成模型，所述训练样本包括文本样本、对应的语音样本及标准意图向量；

提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量；

根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据；

根据所述预测频谱数据和所述标准频谱数据，确定第一损失值；

根据所述预测意图向量和所述标准意图向量，确定第二损失值；

根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参；

若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型；

若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参。

可选的，所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；

所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；

所述提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量，包括：

将所述文本样本输入文本编码器，得到所述文本样本对应的样本文本特征信息；

提取所述语音样本的频谱数据，作为标准频谱数据；

将所述语音样本对应的标准频谱数据输入语音编码器，得到语音向量；

将所述语音向量输入第一自注意学习模块，得到所述语音样本的预测意图向量，其中，所述预测意图向量是由每个意图分类对应的可能性值按照预先设置的顺序排列而成的。

可选的，所述频谱合成模型包括每个意图分类对应的意图特征信息和频谱合成模块；