[发明专利]一种语音增强方法及装置

说明书

本申请提供一种语音增强方法及装置，涉及音频技术领域，能够更大程度的降噪，得到质量较高的语音数据。该方法包括：基于语音增强模型，对待处理的语音数据进行处理，预测得到所述待处理语音数据中的纯净语音数据；所述待处理的语音数据为频域语音数据；基于干扰信息提取模型，对所述待处理的语音数据进行处理，预测得到所述待处理语音数据中的纯净干扰数据；基于语音融合模型，对待处理的语音数据、所述待处理语音数据中的纯净语音数据以及所述待处理语音数据中的纯净干扰数据做融合处理，得到增强的语音数据。

技术领域

本申请涉及语音处理领域，尤其涉及一种语音增强方法及装置。

背景技术

在语音通话或视频通话等场景中，受通话环境的影响(复杂的噪声、混响等)，通话过程中的语音质量较差，采用语音增强技术能显著提升语音质量。

目前，一种语音增强方法是使用深度学习的方法建立一个语音增强模型(例如对抗网络)，基于该语音增强模型能够同步去除待处理语音数据中的噪声和混响。

然而，上述语音增强方法的处理得到语音的音质较差，难以满足用户的听觉体验。

另外，上述用于同步去除噪声和混响的语音增强模型的结构通常比较复杂，比如网络层数过深，网络的参数量较大，使用该语音增强模型进行语音增强处理的速度较慢，实时率差；并且该语音增强模型可能无法对所有的语音数据进行有效增强，其鲁棒性有待提升。

发明内容

本申请实施例提供一种语音增强方法及装置，能够提升语音的音质。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，本申请提供一种语音增强方法，应用于电子设备，该方法包括：电子设备基于语音增强模型，对待处理的语音数据进行处理，预测得到该待处理语音数据中的纯净语音数据；该待处理的语音数据为频域语音数据；并且基于干扰信息提取模型，对所述待处理的语音数据进行处理，预测得到所述待处理语音数据中的纯净干扰数据(包括噪声和混响)；以及基于语音融合模型，对待处理的语音数据、所述待处理语音数据中的纯净语音数据以及所述待处理语音数据中的纯净干扰数据做融合处理，得到增强的语音数据。

本申请提供的语音增强方法，电子设备可以基于语音模型预测出纯净语音数据，基于噪音模型预测出需要排除的纯净干扰数据，并且基于语音融合模型，对待处理的语音数据、经语音模型处理得到的待处理语音数据中的纯净语音数据以及经干扰信息提取模型处理得到的待处理语音数据中的纯净干扰数据做融合处理，对这三种数据进行加权，得到更加纯净的语音数据(即增强的语音数据)，可知通过本申请实施例提供的方案，能够更大程度的去除语音数据中的噪声和/或混响，得到质量较高的语音数据。

进一步的，与现有的用于语音增强的模型相比，本申请中的语音增强模型、干扰信息提取模型以及语音融合模型的结构简单，模型参数量较少，如此，语音增强处理过程的计算量较小，语音增强处理的速度较快，从而能够提升语音增强的实时率。

进一步的，本申请实施例提供的语音增强方法是通过结合时频分析以及基于多路信息融合模型(即语音融合模型)框架，能够满足流式音频去噪的需要，能够适应多种输入维度的音频。

进一步的，本申请实施例中的语音增强模型能够显著去除语音数据中的混响和平稳噪音，噪音模型能够有效地去除语音数据中的非平稳噪音，可见，本申请实施例提供的语音增强方法能够对不同类型的噪音进行有效去除，可适用于对含有不同噪声的语音数据进行增强处理，其鲁棒性好。

在第一方面的一种实现方式中，上述语音增强模型包括依次连接的域自适应映射层、编码器层、第一自注意力层以及第一掩码生成层；其中，该域自适应映射层由两个全连接层组成，该编码器层由一个卷积层、两个因果卷积层、以及一个卷积层组成，该第一自注意力层由长短期记忆层和两个全连接层组成，该第一掩码生成层由两个长短期记忆层组成。