[发明专利]训练声学转换模型的方法、终端及存储介质

权利要求书

1.一种训练声学转换模型的方法，其特征在于，所述方法包括：

获取目标对象的样本歌曲音频中每个音频帧对应的音素信息和音高信息，并获取所述每个音频帧对应的基准频谱特征信息；

将每个音频帧对应的音素信息和音高信息输入声学转换模型，得到每个音频帧对应的预测频谱特征信息；

根据每个音频帧对应的预测频谱特征信息和基准频谱特征信息，确定每个音频帧对应的初始损失值；

确定每个初始损失值对应的权重值，其中，所述权重值与对应的初始损失值负相关；

根据每个音频帧对应的初始损失值和权重值，计算综合损失值；

根据所述综合损失值，对所述声学转换模型进行训练调整；

使用所述目标对象的其他样本歌曲音频再对训练调整后的声学转换模型进行训练调整，直至基于训练调整后的声学转换模型得到的歌曲音频满足预设条件，得到训练完成的声学转换模型。

2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的样本歌曲音频中每个音频帧对应的音素信息和音高信息，并获取所述每个音频帧对应的基准频谱特征信息，包括：

获取所述目标对象的样本歌曲音频和所述样本歌曲音频对应的样本歌词；

根据所述样本歌曲音频和所述样本歌词，确定所述样本歌曲音频中每个音频帧对应的音素信息和音高信息；

提取所述样本歌曲音频的每个音频帧对应的频谱特征信息，作为基准频谱特征信息。

3.根据权利要求1所述的方法，其特征在于，所述确定每个初始损失值对应的权重值，包括：

根据每个音频帧对应的初始损失值以及公式得到每个初始损失值对应的权重值；

其中，L_i为所述样本歌曲音频中第i个音频帧对应的初始损失值，n为所述样本歌曲音频包含的音频帧的帧数，w_i为所述样本歌曲音频中第i个音频帧的初始损失值对应的权重值。

4.根据权利要求1所述的方法，其特征在于，所述根据每个音频帧对应的初始损失值和权重值，计算综合损失值，包括：

确定每个音频帧对应的初始损失值和权重值之积；

将每个音频帧对应的初始损失值和权重值之积相加，得到综合损失值。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据每个音频帧对应的权重值，得到损失调整值；

所述根据所述综合损失值，对所述声学转换模型进行训练调整，包括：

根据损失调整值，对所述综合损失值进行调整，得到调整后的综合损失值；

根据所述调整后的综合损失值，对所述声学转换模型进行训练调整。

6.根据权利要求5所述的方法，其特征在于，所述根据损失调整值，对所述综合损失值进行调整，得到调整后的综合损失值，包括：

将所述综合损失值和所述损失调整值相加，得到调整后的综合损失值。

7.根据权利要求5所述的方法，其特征在于，所述根据每个音频帧对应的权重值，确定所述损失调整值，包括：

确定所述样本歌曲音频对应的平均权重值；

确定权重值小于或等于所述平均权重值的音频帧的数目；

如果权重值小于或等于平均权重值的音频帧的数目占所有音频帧的总数目的比例小于或者等于预设比例阈值，则确定所述损失调整值为0；

如果权重值小于或等于平均权重值的音频帧的数目占所有音频帧的总数目的比例大于所述预设比例阈值，则确定所述损失调整值为所述比例和所述预设比例阈值的差值。

8.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取参考歌曲音频和所述参考歌曲音频对应的参考歌词；

根据所述参考歌曲音频和所述参考歌词，得到所述参考歌曲音频中每个音频帧对应的音素信息和音高信息；

将每个音频帧对应的音素信息和音高信息输入训练完成的声学转换模型，得到每个音频帧对应的频谱特征信息；

将每个音频帧对应的频谱特征信息输入声码器，得到所述目标对象的合成歌曲音频。