[发明专利]基于深度学习的多通道音视频会议降噪的方法及系统

说明书

本发明涉及一种基于深度学习的多通道音视频会议降噪的方法及系统,包括：采集原始多通道信号，将采集的时域信号转换成频域信号；利用神经网络计算各个频段上存在的噪音概率，通过所述噪音概率计算噪音的协方差矩阵；通过所述噪音的协方差矩阵计算噪音的协方差矩阵的特征向量，根据所述噪音的协方差矩阵以及所述噪音的协方差矩阵的特征向量计算合并多通道的权值；根据所述合并多通道的权值以及所述频域信号输出降噪结果。本发明利不但识别效率高，而且计算量小，实际使用的效果差。

技术领域

本发明涉及降噪处理的技术领域，尤其是指一种基于深度学习的多通道音视频会议降噪的方法。

背景技术

在音视频会议中通常会产生噪音，例如敲桌子声音、敲键盘的声音，桌子发出的吱悠吱悠的声音等，都会极大影响会议的质量，除此之外，视频会议的另外一端也会产生比较大的噪音，例如处在音视频对面的一方可能位于火车上，或者在运动中。当噪音很大的时候，通常参会者需要集中精力才能听清楚对方说什么，由此会使得参与会议的人耗费很大的脑力，导致非常疲惫。

为了解决会议噪声问题，通常涉及到声学处理，需要利用声学特性去除声学信号中的噪声。声学信号是一个一维的时域信号，通常的处理方法是利用傅立叶变化等数学方法把信号分解成二维的时频信号来处理。然而，人声和噪音比如敲桌子等产生的声音在时频空间是重合的，因此并没有非常好的方法将两者区分开来。

近几年，随着深度学习的发展，开始有人利用深度学习的方法来解决降噪问题，例如“Recurrent Neural Networks for Noise Reduction in Robust ASR”中，作者利用RNN来做声学信号降燥，然而在实际使用过程中，存在以下问题：理论需要3-5秒的时间来估计噪音，然而实际使用中需要8-16秒内才能估计出噪音，导致实际使用的速度过慢；对于没有训练过的噪音数据类型，识别效率非常低；计算量过大，导致在实际使用时，效果很差。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中会损失声音本身的质量，导致使用效果差的问题，从而提供一种不会损失声音本身的质量，且实际使用效果好的基于深度学习的多通道音视频会议降噪的方法及系统。

为解决上述技术问题，本发明的一种基于深度学习的多通道音视频会议降噪的方法，包括如下步骤：采集原始多通道信号，将采集的时域信号转换成频域信号；利用神经网络计算各个频段上存在的噪音概率，通过所述噪音概率计算噪音的协方差矩阵；通过所述噪音的协方差矩阵计算噪音的协方差矩阵的特征向量，根据所述噪音的协方差矩阵以及所述噪音的协方差矩阵的特征向量计算合并多通道的权值；根据所述合并多通道的权值以及所述频域信号输出降噪结果。

在本发明的一个实施例中，所述采集原始多通道信号的方法为：通过麦克风阵列采集所述原始多通道信号。

在本发明的一个实施例中，将采集的时域信号转换成频域信号的方法为：利用单个滤波器或者多个滤波器通过快速傅里叶变化，将采集的时域信号转换成所述频域信号。

在本发明的一个实施例中，利用神经网络计算各个频段上存在的噪音概率的方法为：将提前标注好的数据输入至所述神经网络中，通过所述神经网络的计算后输出在各个频段上存在的噪音概率。

在本发明的一个实施例中，所述噪音的协方差矩阵的计算方法为：若所述噪音的协方差矩阵为Φ_f，频域信号为Y_i，t，则其中Y_i，t表示第i个信道在t时刻的频域信号，N表示通道的数量，是Y_i，t的共轭转置。

在本发明的一个实施例中，所述噪音的协方差矩阵的特征向量计算方法为Φ_fW_f＝W_fΛ，其中所述噪音的协方差矩阵的特征向量为W_f，噪音的协方差矩阵为Φ_f，Λ表示特征值的矩阵。