[发明专利]音频处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种音频处理方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及语音技术领域。具体实现方案为：从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；将目标声谱特征转换成目标音频。

技术领域

本公开涉及计算机技术领域，进一步涉及语音技术领域，尤其涉及一种音频处理方法、装置、电子设备及存储介质。

背景技术

语音的风格迁移，是指将说话者的音色、情绪及语调等特点赋予到合成的语音中。这样的合成应用非常广泛，例如，在变声系统、语音聊天、在线游戏中隐藏说话人的真实身份，来模仿他人以达到娱乐的效果等。

相关方案中，采用有监督的方式实现音频风格迁移，但是，由于无法对于音频的风格进行准确刻画，如语音中的音调、音量等，导致最终的迁移效果不佳。

发明内容

本公开提供了一种音频处理方法、装置、电子设备及存储介质，以至少解决相关技术中音频风格迁移效果差的技术问题。

根据本公开的一方面，提供了一种音频处理方法，包括：从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；将目标声谱特征转换成目标音频。

根据本公开的又一方面，提供了一种模型训练方法，包括：获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。

根据本公开的又一方面，提供了一种音频处理装置，包括：第一获取模块，用于从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；第二获取模块，用于从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；处理模块，用于对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；转换模块，用于将目标声谱特征转换成目标音频。

根据本公开的又一方面，提供了一种模型训练装置，包括：数据集获取模块，用于获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；数据集处理模块，用于根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；训练模块，用于基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。

根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的音频处理方法。