[发明专利]训练声学转换模型的方法、终端及存储介质

说明书

本申请公开了一种训练声学转换模型的方法、终端及存储介质，属于互联网技术领域。该方法包括：获取目标对象的样本歌曲音频中每个音频帧对应的音素信息和音高信息，并获取每个音频帧对应的基准频谱特征信息；将每个音频帧对应的音素信息和音高信息输入声学转换模型，得到每个音频帧对应的预测频谱特征信息；根据每个音频帧对应的预测频谱特征信息和基准频谱特征信息，确定每个音频帧对应的初始损失值；确定每个初始损失值对应的权重值，根据每个音频帧对应的初始损失值和权重值，计算综合损失值；根据综合损失值，对声学转换模型进行训练调整。本申请实施例可以在一定程度上提高训练调整后的声学转换模型的准确性。

技术领域

本申请涉及互联网技术领域，特别涉及一种训练声学转换模型的方法、终端及存储介质。

背景技术

近年来，歌曲合成技术一直备受社会各界的关注，该技术最大的便利性在于可以合成某人没有演唱过的歌曲音频。例如，在用户想要收听许嵩的歌曲音频《平凡之路》，但实际上许嵩并没有演唱过歌曲音频《平凡之路》情况下，用户可以先找到朴树演唱的歌曲音频《平凡之路》以及歌曲音频《平凡之路》的歌词，使得终端基于朴树演唱的歌曲音频《平凡之路》和歌曲音频《平凡之路》的歌词生成许嵩的歌曲音频《平凡之路》。在上述过程中，终端生成许嵩的歌曲音频《平凡之路》的具体步骤为：将歌词和歌曲音频输入强制对齐模型，得到每个音频帧对应的音素信息，并提取歌曲音频的每个音频帧的音高信息。将每个音频帧的音素信息和音高信息输入训练完成的许嵩的声学转换模型，输出每个音频帧对应的频谱特征信息。将每个音频帧对应的频谱特征信息输入声码器，得到生成许嵩的歌曲音频《平凡之路》。

在相关技术中，确定损失值的方法为计算每个音频帧的预测频谱特征信息和基准频谱特征信息之间的初始损失值，并将每个音频帧对应的初始损失值进行相加，得到综合损失值。而在实际过程中，基于强制对齐模型得到的音素信息可能存在一定的误差，这样会导致训练调整后的声学转换模型不准确。

发明内容

本申请实施例提供了一种训练声学转换模型的方法、终端及存储介质，能够在一定程度上提高训练调整后的声学转换模型的准确性。该技术方案如下：

一方面，本申请实施例一种训练声学转换模型的方法，所述方法包括：

获取目标对象的样本歌曲音频中每个音频帧对应的音素信息和音高信息，并获取所述每个音频帧对应的基准频谱特征信息；

将每个音频帧对应的音素信息和音高信息输入声学转换模型，得到每个音频帧对应的预测频谱特征信息；

根据每个音频帧对应的预测频谱特征信息和基准频谱特征信息，确定每个音频帧对应的初始损失值；

确定每个初始损失值对应的权重值，其中，所述权重值与对应的初始损失值负相关；

根据每个音频帧对应的初始损失值和权重值，计算综合损失值；

根据所述综合损失值，对所述声学转换模型进行训练调整；

使用所述目标对象的其他样本歌曲音频再对训练调整后的声学转换模型进行训练调整，直至基于训练调整后的声学转换模型得到的歌曲音频满足预设条件，得到训练完成的声学转换模型。

可选的，所述获取目标对象的样本歌曲音频中每个音频帧对应的音素信息和音高信息，并获取所述每个音频帧对应的基准频谱特征信息，包括：

获取所述目标对象的样本歌曲音频和所述样本歌曲音频对应的样本歌词；

根据所述样本歌曲音频和所述样本歌词，确定所述样本歌曲音频中每个音频帧对应的音素信息和音高信息；

提取所述样本歌曲音频的每个音频帧对应的频谱特征信息，作为基准频谱特征信息。

可选的，所述确定每个初始损失值对应的权重值，包括：