[发明专利]定制音色歌声的合成方法、装置、电子设备和存储介质

权利要求书

1.一种定制音色歌声的合成方法，其特征在于，包括：

通过说话人录音样本对第一神经网络进行训练，以得到说话人识别模型，所述第一神经网络输出训练结果为说话人向量样本；

通过歌声清唱样本和所述说话人向量样本对第二神经网络进行训练，以得到清唱合成模型；

将待合成的说话人录音输入至所述说话人识别模型，获取所述说话人识别模型的中间隐藏层输出的说话人信息；

将待合成的清唱音乐信息和所述说话人信息输入至所述清唱合成模型，以获得合成的定制音色歌声。

2.根据权利要求1所述的定制音色歌声的合成方法，其特征在于，通过说话人录音样本对第一神经网络进行训练，以得到说话人识别模型包括：

将所述说话人录音样本划分为测试录音样本和注册录音样本，并输入至所述第一神经网络；

所述注册录音样本经所述第一神经网络输出注册录音特征，将所述注册录音特征进行平均池化处理，以得到注册录音向量；

所述测试录音样本经所述第一神经网络输出测试录音向量；

对所述注册录音向量和所述测试录音向量进行余弦相似度计算，以获得余弦相似度结果；

通过所述余弦相似度结果和回归函数对所述第一神经网络进行参数优化，至所述回归函数的损失值最小为止；

将参数优化后的所述第一神经网络确定为所述说话人识别模型。

3.根据权利要求1所述的定制音色歌声的合成方法，其特征在于，所述清唱合成模型包括持续时间模型、声学模型和声码器模型，通过歌声清唱样本和所述说话人向量样本对第二神经网络进行训练，以得到清唱合成模型包括：

解析所述歌声清唱样本中的乐谱样本、歌词样本和音素时长样本；

通过所述说话人向量样本、所述乐谱样本、所述歌词样本和所述音素时长样本对所述持续时间模型进行训练，所述持续时间模型的输出结果为时长预测样本。

4.根据权利要求1所述的定制音色歌声的合成方法，其特征在于，所述清唱合成模型包括持续时间模型、声学模型和声码器模型，通过歌声清唱样本和所述说话人向量样本对第二神经网络进行训练，以得到清唱合成模型包括：

解析所述歌声清唱样本中的乐谱样本、歌词样本和音素时长样本；

根据所述歌声清唱样本中的歌曲提取梅尔图谱样本；

通过所述说话人向量样本、所述音素时长样本、所述乐谱样本、所述歌词样本和所述梅尔图谱样本对所述声学模型进行训练，所述声学模型输出结果为梅尔谱图预测样本。

5.根据权利要求1所述的定制音色歌声的合成方法，其特征在于，所述清唱合成模型包括持续时间模型、声学模型和声码器模型，通过歌声清唱样本和所述说话人向量样本对第二神经网络进行训练，以得到清唱合成模型包括：

根据所述歌声清唱样本中的歌曲提取梅尔图谱样本；

通过所述梅尔谱图样本对所述声码器模型进行训练，所述声码器模型的输出结果为音频预测样本。

6.根据权利要求1-5中任一项所述的定制音色歌声的合成方法，其特征在于，所述清唱合成模型包括持续时间模型、声学模型和声码器模型，将待合成的清唱音乐信息和所述说话人信息输入至所述清唱合成模型，以获得合成的定制音色歌声包括：

解析所述清唱音乐信息中的待合成乐谱和待合成歌词；

将所述说话人信息、所述待合成乐谱和所述待合成歌词输入至所述持续时间模型，所述持续时间模型输出结果为待合成的时长预测结果；

将所述时长预测结果、所述说话人信息、所述待合成乐谱和所述待合成歌词输入至所述声学模型，所述声学模型输出结果为待合成的梅尔谱图预测结果；

将所述梅尔谱图预测结果输入至所述声码器模型，所述声码器模型输出结果为所述合成的定制音色歌声。

7.根据权利要求6所述的定制音色歌声的合成方法，其特征在于，解析所述清唱音乐信息中的待合成乐谱和待合成歌词包括：

对所述清唱音乐信息中的乐谱和歌词进行文本分析和特征提取，以获取所述待合成乐谱和所述待合成歌词。