[发明专利]音频处理模型的训练方法及装置、音频处理方法及装置

说明书

本公开关于一种音频处理模型的训练方法及装置、一种音频处理方法及装置。音频处理模型的训练方法包括：获取纯净音频信号的幅度谱和带噪音频信号的幅度谱；将带噪音频信号的幅度谱分成多个频段，得到带噪音频信号的多个频段的幅度谱；通过音频处理模型中的多个卷积神经网络预测与带噪音频信号的所述多个频段中的每个频段的幅度谱相应的降噪幅度谱，得到多个频段的降噪幅度谱；基于所述多个频段的降噪幅度谱获得降噪音频信号的幅度谱；通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数，从而提高音频处理模型的降噪和语音保留效果。

技术领域

本公开涉及视频技术领域。更具体地，本公开涉及一种音频处理模型的训练方法及装置、一种音频处理方法及装置。

背景技术

随着神经网络的推广，神经网络越来越多的被运用到音频领域，例如音频去噪、音频去混响、语音分离等等，相比较于传统算法，神经网络往往能获得更好的效果。相关技术中，当利用神经网络解决音频信号处理问题时，通常有时域和时频域两种方向，时域处理是指直接在时域上对音频进行处理得到处理后波形的方式，时频域是指将原始时域波形信号短时傅里叶变换(STFT：Short-Time Fourier Transform)到时频域，经过一系列处理，再将时频域信号短时反傅里叶变换(ISTFT：Inverse Short-Time Fourier Transform)到时域，得到处理后波形的方式。

相关技术中，存在神经网络的复杂度高、噪声消除及音质保留效果不好的问题。

发明内容

本公开的示例性实施例在于提供一种音频处理模型的训练方法及装置、一种音频处理方法及装置，以至少解决相关技术中的音频处理模型的训练、音频处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种音频处理模型的训练方法，包括：获取纯净音频信号的幅度谱和带噪音频信号的幅度谱，其中，带噪音频信号与纯净音频信号相应；将带噪音频信号的幅度谱分成多个频段，得到带噪音频信号的多个频段的幅度谱；通过音频处理模型中的多个卷积神经网络预测与带噪音频信号的所述多个频段中的每个频段的幅度谱相应的降噪幅度谱，得到多个频段的降噪幅度谱；基于所述多个频段的降噪幅度谱获得降噪音频信号的幅度谱；通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数。

可选地，将带噪音频信号的幅度谱分成多个频段的步骤可包括：基于预设的频段数将带噪音频信号的幅度谱分成多个频段，其中，所述预设的频段数等于所述多个卷积神经网络的数量。

可选地，所述多个卷积神经网络中的每个卷积神经网络的内核大小和步幅被分别设置为彼此不同，其中，所述多个卷积神经网络中的每个卷积神经网络与所述多个频段中的一个频段相应。

可选地，通过音频处理模型中的所述多个卷积神经网络预测带噪音频信号的所述多个频段中的每个频段的幅度谱的降噪幅度谱的步骤可包括：将带噪音频信号的所述多个频段中的每个频段的幅度谱分别输入到音频处理模型中的所述多个卷积神经网络中的相应的卷积神经网络；在每个卷积神经网络中，基于卷积神经网络的内核大小和步幅对输入到卷积神经网络的幅度谱进行卷积操作，基于卷积操作结果确定与输入的幅度谱相应的降噪幅度谱，得到所述多个频段的降噪幅度谱。

可选地，通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数的步骤可包括：计算纯净音频信号的幅度谱和降噪音频信号的幅度谱之间的差异；基于所述差异确定音频处理模型的预测损失；基于预测损失调整音频处理模型的模型参数，直至音频处理模型的预测损失满足预设条件时，将模型参数调整后的音频处理模型作为训练得到的音频处理模型。