[发明专利]语音转换及相关模型的训练方法、电子设备和存储装置

权利要求书

1.一种语音转换模型的训练方法，其特征在于，包括：

获取目标对象的第一样本语音，并获取预训练的语音转换模型；其中，所述语音转换模型包括音素识别网络和声学预测网络，所述语音转换模型是利用若干样本对象的第二样本语音和第三样本语音预训练得到的，所述第三样本语音是对所述第二样本语音进行音色转换得到的；

利用所述音素识别网络识别所述第一样本语音的第一音素信息，并提取所述第一样本语音的第一实际声学信息；

利用所述声学预测网络对所述第一音素信息和所述第一实际声学信息进行预测，得到第一预测声学信息，并基于所述第一实际声学信息和所述第一预测声学信息之间的差异，调整所述声学预测网络的网络参数；

将所述音素识别网络和调整后的所述声学预测网络的组合，作为与所述目标对象匹配的语音转换模型。

2.根据权利要求1所述的方法，其特征在于，所述获取预训练的语音转换模型，包括：

利用所述音素识别网络分别识别所述第二样本语音的第二音素信息和所述第三样本语音的第三音素信息；

基于所述第二音素信息和所述第三音素信息之间的差异，调整所述音素识别网络的网络参数。

3.根据权利要求2所述的方法，其特征在于，所述调整所述音素识别网络的网络参数之后，所述方法还包括：

利用所述音素识别网络识别所述第二样本语音的第四音素信息，并提取所述第二样本语音的第二实际声学信息；

利用所述声学预测网络对所述第四音素信息和所述第二实际声学信息进行预测，得到第二预测声学信息；

基于所述第二实际声学信息和所述第二预测声学信息之间的差异，调整所述声学预测网络的网络参数。

4.根据权利要求2所述的方法，其特征在于，所述第二样本语音标注有实际音素信息；在所述利用所述音素识别网络分别识别所述第二样本语音的第二音素信息和所述第三样本语音的第三音素信息之前，所述方法还包括：

利用对象识别网络对所述第二样本语音的第二音素信息进行识别，得到所述第二样本语音分别属于所述若干样本对象的预测概率分布；

基于所述第二音素信息和所述实际音素信息，得到第一识别损失值，并基于所述预测概率分布和所述第二样本语音所属的样本对象，得到第二识别损失值；

利用所述第一识别损失值调整所述音素识别网络的网络参数，或者，利用所述第二识别损失值调整所述对象识别网络的网络参数。

5.根据权利要求4所述的方法，其特征在于，所述音素识别网络是经若干次预训练得到的，所述方法还包括：

在训练次数满足预设条件的情况下，利用所述第一识别损失值调整所述音素识别网络的网络参数；

在训练次数不满足所述预设条件的情况下，利用所述第二识别损失值调整所述对象识别网络的网络参数。

6.根据权利要求4所述的方法，其特征在于，所述基于所述第二音素信息和所述实际音素信息，得到第一识别损失值，包括：

利用所述第二音素信息和所述实际音素信息之间差异，以及所述预测概率分布和预设概率分布之间的差异，得到所述第一识别损失值；

其中，所述预设概率分布包含所述第二样本语音分别属于所述若干样本对象的预设概率值，且各个所述预设概率值相同。

7.根据权利要求1所述的方法，其特征在于，所述第三样本语音的获取步骤，包括：

利用所述若干样本对象的第二样本语音分别训练得到与样本对象对应的预设声学预测网络；

分别将各个所述样本对象作为当前对象，将其余所述样本对象作为参考对象，并获取与所述参考对象对应的预设声学预测网络；

利用所述音素识别网络识别所述当前对象的第二样本语音的第五音素信息，并提取所述当前对象的第二样本语音的第三实际声学信息；

利用所述参考对象的预设声学预测网络对所述第五音素信息和所述第三实际声学信息进行预测，得到第三预测声学信息；

利用所述第三预测声学信息，合成得到音色与所述参考对象相同的第三样本语音。