[发明专利]用于将有噪音频信号转换为增强音频信号的方法

说明书

通过首先从环境获取有噪音频信号，方法将该有噪音频信号转换为增强音频信号。通过具有网络参数的增强网络来处理该有噪音频信号，以共同产生幅度掩蔽和相位估计。然后，使用所述幅度掩蔽和相位估计来获得增强音频信号。

技术领域

本发明涉及处理音频信号，并且更具体地涉及使用该信号的相位来增强有噪音频语音信号。

背景技术

在语音增强中，目的是获得“增强语音”，其是对有噪语音处理后的版本，在某种意义上更接近真正的“纯净语音”或“目标语音”。

应注意，纯净语音被认为仅能在训练期间获得，而不能在系统的真实使用期间获得。对于训练，可以利用近讲麦克风来获得纯净语音，而可以利用同时录音的远场麦克风来获得有噪语音。或者，给定单独的纯净语音信号和噪声信号，可以将所述信号叠加在一起以获得有噪语音信号，其中可以将纯净语音和有噪语音对一起用于训练。

语音增强和语音识别可以被认为是不同却相关的问题。良好的语音增强系统当然可以用作语音识别系统的输入模块。反过来，语音识别可能被用于改善语音增强，因为识别包含附加的信息。然而，并不清楚如何共同构建用于增强任务和识别任务两者的多任务循环(recurrent)神经网络系统。

在本文中，我们把语音增强当作从“有噪语音”获得“增强语音”的问题。另一方面，术语语音分离是指将“目标语音”从背景信号分离出来，其中，背景信号可以是任何其它非语音音频信号，或者甚至是不感兴趣的其它非目标语音信号。我们所使用的术语语音增强还包括语音分离，因为我们把所有背景信号的组合都视为噪声。

在语音分离和语音增强应用中，通常在短时傅里叶变换(STFT)域中进行处理。STFT获得信号的复域频谱-时间(或时间-频率)表示。观测到的有噪信号的STFT可以被写为目标语音信号的STFT和噪声信号的STFT之和。信号的STFT是复数，并且求和是在复域中进行。然而，在常规方法中，相位被忽略，并且假设观测到的信号的STFT的幅度等于目标音频和噪声信号的STFT的幅度之和，这是粗略的假设。因此，现有技术中的焦点已经在给定有噪语音信号作为输入的情况下对“目标语音”的幅度预测上。在从其STFT重建时域增强信号期间，有噪信号的相位被用作增强语音的STFT的估计相位。这一点通常通过声称增强语音的相位的最小均方误差(MMSE)估计是有噪信号的相位来进行证明。

发明内容

本发明的实施方式提供了一种将有噪语音信号转换为增强语音信号的方法。

通过自动语音识别(ASR)系统来处理有噪语音以产生ASR特征。ASR特征与有噪语音频谱特征组合，并利用在训练过程中学习到的网络参数被传递给深度循环神经网络(DRNN)，以产生掩蔽，该掩蔽应用到有噪语音以产生增强语音。

语音在短时傅立叶变换(STFT)域中处理。虽然存在多种用于从有噪语音计算增强语音的STFT幅度的方法，但我们专注于基于深度循环神经网络(DRNN)的方案。这些方案使用从有噪语音信号的STFT获得的特征作为输入，以在输出获得增强语音信号的STFT的幅度。这些有噪语音信号特征可以是频谱幅度、频谱功率或它们的对数，可以使用从有噪信号的STFT获得的对数梅尔滤波器组特征，或其它类似的频谱-时间特征。

在我们的基于循环神经网络的系统中，循环神经网络预测“掩蔽”或“滤波器”，其直接乘以有噪语音信号的STFT，以获得增强信号的STFT。“掩蔽”对于每个时间频率窗具有0到1之间的值，并且理想地是语音幅度除以语音和噪声分量的幅度之和的比。该“理想掩蔽”被称为理想比掩蔽(ideal ratio mask)，其在系统的真实使用期间是未知的，但可在训练期间获得。由于实值掩蔽与有噪信号的STFT相乘，因此增强语音默认最后使用有噪信号的STFT的相位。当我们将掩蔽应用到有噪信号的STFT的幅度部分时，我们称该掩蔽为“幅度掩蔽”，以表示其仅被应用于有噪输入的幅度部分。