[发明专利]音频转换方法、音频转换装置及设备

说明书

本公开提供了一种音频转换方法、音频转换装置及设备、计算机可读存储介质以及计算机程序产品。音频转换方法包括：获取待转换音频以及指定转换类型；对待转换音频进行音源分离处理，以获取待转换音频的主旋律音轨；基于主旋律音轨预测待转换音频的乐谱，以生成预测乐谱；以及基于预测乐谱生成指定转换类型的转换音频。本公开提供的音频转换方法扩大了可输入的待转换音频的范围，能够生成没有杂音、辨识度高的高质量转换音频，并且大大缩短了开发成本，提高了音频转换效率。

技术领域

本公开一般涉及计算机技术领域，并且更具体地涉及一种音频转换方法、音频转换装置及设备、计算机可读存储介质以及计算机程序产品。

背景技术

在音乐领域中，有时希望将一段乐曲转换为特定乐器演奏的音乐，或者将一种乐器演奏的音乐转换为另一种乐器演奏的音乐，这一过程可以称为乐器音转换。得益于计算机技术的高度发展，乐器音转换例如可以利用深度神经网络来自动实现，而无需人工参与。例如，WaveNet是一种可以实现乐器音转换的端对端网络，即利用深度神经网络直接对音频文件的脉冲编码调制数据(PCM数据，即对声音进行采样、量化和编码而产生的用于计算机播放的数字信号)进行建模预测，并直接输出指定转换类型的音频文件的PCM数据，即直接输出转换后的音频文件。然而，诸如WaveNet等的现有乐器音转换方法所生成的转换音频瑕疵较大，带有较为明显的杂音，乐器的音色辨识度不高，并且需要较大的时间成本。

发明内容

为了解决上述问题，本公开提供一种音频转换方法、音频转换装置及设备、计算机可读存储介质以及计算机程序产品。

根据本公开实施例的一个方面，提供了一种音频转换方法，包括：获取待转换音频以及指定转换类型；对所述待转换音频进行音源分离处理，以获取所述待转换音频的主旋律音轨；基于所述主旋律音轨预测所述待转换音频的乐谱，以生成预测乐谱；以及基于所述预测乐谱生成所述指定转换类型的转换音频。

根据本公开实施例的示例，其中，获取待转换音频包括：输入包含音频的多媒体内容或者所述多媒体内容的链接；以及提取所述多媒体内容中的音频作为所述待转换音频。

根据本公开实施例的示例，其中，所述多媒体内容是视频文件、音频文件、视频流、音频流中的任一种，所述预测乐谱包括用符号表示的乐曲信息，所述乐曲信息包括具有音高、起始时间和终止时间的不同节拍。

根据本公开实施例的示例，其中，对所述待转换音频进行音源分离处理以获取所述待转换音频的主旋律音轨包括：将所述待转换音频划分为至少两个分离音轨，所述至少两个分离音轨包括主旋律音轨和至少一个非主旋律音轨，所述至少一个非主旋律音轨包括：人声音轨、贝斯音轨、鼓点音轨、以及其他音轨中的至少一部分；从所述至少两个分离音轨中提取所述主旋律音轨。

根据本公开实施例的示例，所述音频转换方法还包括：确定所述至少一个非主旋律音轨中的、要加入到所述转换音频中的目标非主旋律音轨；将所述目标非主旋律音轨添加到所述转换音频中。

根据本公开实施例的示例，其中，基于所述主旋律音轨预测所述待转换音频的乐谱以生成预测乐谱包括：提取所述主旋律音轨的声音特征参数；以及将所述声音特征参数输入到深度神经网络中进行预测，以生成所述预测乐谱。

根据本公开实施例的示例，其中，在基于所述预测乐谱生成所述指定转换类型的转换音频之前，所述音频转换方法还包括：确定所述预测乐谱中的细碎节拍的数量与节拍的总数的比例，所述细碎节拍为持续时间小于预定时间阈值的节拍；以及在所述比例超过预定比例阈值时，对所述预测乐谱进行优化处理。

根据本公开实施例的示例，其中，对所述预测乐谱进行优化处理包括：对于处于同一音高的、同一小节内部的细碎节拍，执行以下处理中的一项或多项：合并临近的细碎节拍；将细碎节拍分配至附近节拍；延长细碎节拍；以及删除细碎节拍，其中，所述小节为所述预测乐谱中包括预定数量的节拍或者具有预定时间长度的单位。