[发明专利]训练频谱合成模型和合成音频的方法、终端及存储介质

权利要求书

1.一种频谱合成模型训练的方法，其特征在于，所述方法包括：

将训练样本输入初始频谱合成模型，所述训练样本包括文本样本、对应的语音样本及标准意图向量；

提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量；

根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据；

根据所述预测频谱数据和所述标准频谱数据，确定第一损失值；

根据所述预测意图向量和所述标准意图向量，确定第二损失值；

根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参；

若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型；

若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参。

2.根据权利要求1所述的方法，其特征在于，所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；

所述提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量，包括：

将所述文本样本输入文本编码器，得到所述文本样本对应的样本文本特征信息；

提取所述语音样本的频谱数据，作为标准频谱数据；

将所述语音样本对应的标准频谱数据输入语音编码器，得到语音向量；

将所述语音向量输入第一自注意学习模块，得到所述语音样本的预测意图向量，其中，所述预测意图向量是由每个意图分类对应的可能性值按照预先设置的顺序排列而成的。

3.根据权利要求1所述的方法，其特征在于，所述频谱合成模型包括每个意图分类对应的意图特征信息和频谱合成模块；

所述根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据，包括：

将所述预测意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述语音样本对应的样本意图特征信息；

将所述样本文本特征信息和所述样本意图特征信息输入频谱合成模块，得到所述文本样本对应的预测频谱数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参，包括：

根据所述第一损失值、所述第一损失值对应的第一权重、所述第二损失值以及所述第二损失值对应的第二权重，确定综合损失值；

根据所述综合损失值，对所述初始频谱合成模型进行调参。

5.根据权利要求1所述的方法，其特征在于，所述根据所述预测意图向量和所述标准意图向量，确定第二损失值，包括：

确定所述预测意图向量和所述标准意图向量的交叉熵，将所述交叉熵作为所述第二损失值。

6.一种合成音频的方法，其特征在于，所述方法包括：

将所述目标文本输入训练完成的自然语言处理模型，得到目标意图分类；

确定所述目标意图分类对应的目标意图向量；

将所述目标文本和所述目标意图向量输入如权利要求1-5所述训练完成的频谱合成模型，根据所述目标文本和所述目标意图向量，确定所述目标文本对应的目标频谱数据；

将所述目标文本对应的目标频谱数据输入声码器，得到所述目标文本对应的目标语音。

7.根据权利要求6所述的方法，其特征在于，当所述频谱合成模型包括文本编码器、每个意图分类对应的意图特征信息和频谱合成模块时，所述根据所述目标文本和所述目标意图向量，确定所述目标文本对应的目标频谱数据，包括：

将所述目标文本输入所述文本编码器，得到所述目标文本对应的目标文本特征信息；

将所述目标意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述目标文本对应的目标意图特征信息；

将所述目标文本特征信息和所述目标意图特征信息输入频谱合成模块，得到所述目标文本对应的目标频谱数据。