[发明专利]音频处理方法及装置、终端及存储介质

权利要求书

1.一种音频处理方法，其特征在于，所述方法包括：

获取混合音频数据，所述混合音频数据包括多种成分的音频数据；

对所述混合音频数据进行处理，以获取所述混合音频数据的时频谱特征数据；

基于预先训练好的与预设成分标签关联的提取模型，确定所述时频谱特征数据中与每一所述预设成分标签对应的特征提取数据；

基于所述特征提取数据，确定所述混合音频数据中与预设成分标签对应的音频数据；

与所述预设成分标签关联的提取模型通过以下步骤训练得到：

确定混合音频样本训练集，其中，所述混合音频样本训练集包括所述预设成分标签以及与所述预设成分标签对应的混合音频样本训练数据；

在保持混合音频训练数据基频不变的情况下，改变所述混合音频训练数据的声道运动速率，以得到处理后的目标混合音频样本训练数据，或者，在保持混合音频训练数据包络不变的情况下，改变所述混合音频训练数据的基频大小，以得到处理后的目标混合音频样本训练数据；

将每一所述预设成分标签以及与所述预设成分标签对应的所述目标混合音频样本训练数据的时频谱特征分别输入神经网络模型中进行训练，以得到与每一所述预设成分标签关联的所述提取模型；

其中，所述神经网络模型包括编码器-解码器结构。

2.根据权利要求1所述的方法，其特征在于，所述对所述混合音频数据进行处理，确定所述混合音频数据的时频谱特征数据，包括：

对所述混合音频数据进行截断处理，以获得预设长度的目标音频数据；

对所述目标音频数据进行预处理和归一化操作，以得到处理后的所述混合音频数据的时频谱特征数据。

3.根据权利要求1所述的方法，其特征在于，所述神经网络模型为使用Tensorflow深度学习框架搭建的全卷积UNET神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述神经网络模型是通过以下步骤训练得到的：

将混合音频训练集的时频谱数据输入预训练的分离模型，输出预估的目标时频谱数据；

根据所述混合音频训练集的时频谱数据和所述目标时频谱数据的误差，更新所述分离模型的模型参数；

重复执行训练步骤，以至所述分离模型的损失函数收敛；

确定使所述误差最小化的目标模型参数，根据所述目标模型参数确定所述训练好的所述神经网络模型。

5.一种音频处理装置，其特征在于，所述装置包括：

获取模块，获取混合音频数据，所述混合音频数据包括多种成分的音频数据；

处理模块，用于对所述混合音频数据进行处理，以获取所述混合音频数据的时频谱特征数据；

分离模块，用于将所述时频谱特征数据输入训练好的神经网络模型中进行分离，确定所述混合音频数据中与预设成分标签对应的音频数据；

所述分离模块具体用于：

基于预先训练好的与所述预设成分标签关联的提取模型，确定所述时频谱特征数据中与每一所述预设成分标签对应的特征提取数据；

基于所述特征提取数据，确定所述混合音频数据中与预设成分标签对应的音频数据；

所述装置还包括第一训练模块，所述第一训练模块具体用于：

确定混合音频样本训练集，其中，所述混合音频样本训练集包括所述预设成分标签以及与所述预设成分标签对应的混合音频样本训练数据；

在保持混合音频训练数据基频不变的情况下，改变所述混合音频训练数据的声道运动速率，以得到处理后的目标混合音频样本训练数据，或者，在保持混合音频训练数据包络不变的情况下，改变所述混合音频训练数据的基频大小，以得到处理后的目标混合音频样本训练数据；

将每一所述预设成分标签以及与所述预设成分标签对应的所述目标混合音频样本训练数据的时频谱特征分别输入神经网络模型中进行训练，以得到与每一所述预设成分标签关联的所述提取模型；

其中，所述神经网络模型包括编码器-解码器结构。