[发明专利]基于人工智能的语音合成方法、装置、计算机设备及介质

权利要求书

1.一种语音合成方法，其特征在于，所述语音合成方法包括：

获取目标用户的参考语音频谱和目标语音音素，基于训练好的语音合成模型对所述参考语音频谱和所述目标语音音素进行处理，所述语音合成模型包括训练好的频谱编码器、训练好的音素编码器、训练好的识别编码器、训练好的用户表征预测器以及训练好的频谱解码器；所述处理包括：

将所述参考语音频谱输入至所述训练好的频谱编码器，得到参考音色内容特征，将所述目标语音音素输入至所述训练好的音素编码器，得到目标内容特征；

将所述参考音色内容特征和所述目标内容特征输入至所述训练好的识别编码器，得到目标音色内容特征；

对所述目标音色内容特征进行采样，将采样结果输入至所述训练好的用户表征预测器，得到用户身份内容特征；

将所述目标音色内容特征和所述用户身份内容特征进行特征融合，将得到的融合特征输入至所述训练好的频谱解码器，得到目标用户的语音合成结果。

2.根据权利要求1所述的语音合成方法，其特征在于，在所述语音合成模型训练时，在所述语音合成模型中添加临时嵌入层和预训练好的临时编码器，以样本用户的样本语音频谱、样本语音音素和样本用户编号作为训练样本，以真实样本频谱作为训练标签；

所述语音合成模型的训练过程包括：

将所述样本语音频谱输入至所述频谱编码器进行特征提取，得到样本频谱特征；

将所述样本语音音素输入至所述音素编码器进行特征提取，得到样本音素特征；

将所述样本用户编号输入至所述临时嵌入层进行特征提取，得到样本嵌入向量；

将所述样本频谱特征和所述样本音素特征进行特征融合，将得到的第一融合特征输入所述识别编码器，得到样本音色内容特征；

将所述样本嵌入向量和所述样本音素特征进行特征融合，将得到的第二融合特征输入至所述预训练好的临时编码器，得到样本身份内容特征；

对所述样本音色内容特征进行高斯采样，将采样结果输入至所述用户表征预测器，得到样本预测编号；

将所述采样结果与所述样本用户编号相乘，得到融合样本频谱特征；

将所述融合样本频谱特征输入至所述频谱解码器，得到预测语音频谱。

3.根据权利要求2所述的语音合成方法，其特征在于，所述语音合成模型训练过程还包括：

根据所述样本音色内容特征、所述样本身份内容特征、所述样本预测编号、所述样本用户编号、所述预测语音频谱和所述真实样本频谱计算损失函数，以所述损失函数为依据，通过梯度下降法更新所述频谱编码器、所述音素编码器、所述识别编码器、所述用户表征预测器和所述频谱解码器的参数。

4.根据权利要求3所述的语音合成方法，其特征在于，所述损失函数包括：

相对熵，所述相对熵根据所述样本音色内容特征和所述样本身份内容特征计算得到，以所述相对熵为依据，通过梯度下降法更新所述频谱编码器、所述音素编码器和所述识别编码器的参数，直至所述相对熵收敛，得到预训练好的频谱编码器、预训练好的音素编码器和预训练好的识别编码器。

5.根据权利要求4所述的语音合成方法，其特征在于，所述损失函数还包括：

第一均方差损失，所述第一均方差损失根据所述预测编号和所述样本用户编号计算得到，以所述第一均方差损失为依据，通过梯度下降法更新所述用户表征预测器的参数，直至所述第一均方差损失收敛，得到预训练好的用户表征预测器。

6.根据权利要求5所述的语音合成方法，其特征在于，所述损失函数还包括：

第二均方差损失，所述第二均方差损失根据所述预测语音频谱和所述真实样本频谱计算得到，以所述第二均方差损失为依据，通过梯度下降法更新所述频谱解码器的参数，直至所述第二均方差损失收敛，得到预训练好的频谱解码器。