[发明专利]音频信号处理设备、方法和电子设备

说明书

公开了一种音频信号处理设备、方法和电子设备。该音频信号处理设备包括：麦克风阵列，包括具有不同拾音区的多个指向麦克风；音频定位器件，用于识别第一组声源并确定每个声源在音频坐标系下的位置；摄像头，用于捕捉当前场景的场景图像，该当前场景至少覆盖该多个指向麦克风的拾音区；图像定位器件，用于识别第二组声源并确定每个声源在图像坐标系下的位置；以及声源分类器，用于根据音频与图像坐标系之间的配准关系、每个声源在该音频坐标系下的位置、和每个声源在该图像坐标系下的位置来对该第一和第二组声源中的每个声源进行分类。因此，可以利用指向麦克风和摄像头的双重定位来实现声源的精确分类。

技术领域

本申请涉及音频技术领域，且更具体地，涉及一种音频信号处理设备、音频信号处理方法、电子设备、计算机程序产品和计算机可读存储介质。

背景技术

无论是智能化的语音识别系统(例如，智能家电、机器人等)，还是传统的语音通信系统(例如，会议系统、因特网协议传送话音VoIP系统等)，都会遇到噪声消除的问题。

目前现有的噪声消除技术是基于全向麦克风阵列和波束形成算法的结合。全向麦克风都具有全向拾音响应，也就是能够均等地响应来自四面八方的声音。多个全向麦克风可以配置成阵列，形成定向响应，以做到对于来自单角度的声源进行增强。

然而，全向麦克风阵列在降噪处理中存在以下局限，即无法对声源的类型进行区分，单纯地利用空域算法消除噪声，对一个声源角度增强，对其余声源角度进行削弱，容易对关注信号造成损伤。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种音频信号处理设备、音频信号处理方法、电子设备、计算机程序产品和计算机可读存储介质，其可以利用指向麦克风和摄像头的双重定位来实现声源的精确分类。

根据本申请的一个方面，提供了一种音频信号处理设备，包括：麦克风阵列，包括具有不同拾音区的多个指向麦克风，每个指向麦克风用于在自身的拾音区内采集分路输入信号；音频定位器件，用于根据所述分路输入信号来识别第一组声源并确定其中的每个声源在所述麦克风阵列所确定的音频坐标系下的位置；摄像头，用于捕捉当前场景的场景图像，所述当前场景至少覆盖所述多个指向麦克风的拾音区；图像定位器件，用于在所述场景图像中识别第二组声源并确定其中的每个声源在所述摄像头所确定的图像坐标系下的位置；以及声源分类器，用于根据所述音频坐标系与所述图像坐标系之间的配准关系、所述第一组声源中每个声源在所述音频坐标系下的位置、和所述第二组声源中每个声源在所述图像坐标系下的位置来对所述第一组声源和所述第二组声源中的每个声源进行分类。

根据本申请的另一方面，提供了一种音频信号处理方法，包括：从麦克风阵列中的每个指向麦克风接收分路输入信号，所述麦克风阵列包括具有不同拾音区的多个指向麦克风，每个指向麦克风用于在自身的拾音区内采集所述分路输入信号；根据所述分路输入信号来识别第一组声源并确定其中的每个声源在所述麦克风阵列所确定的音频坐标系下的位置；从摄像头接收当前场景的场景图像，所述当前场景至少覆盖所述多个指向麦克风的拾音区；在所述场景图像中识别第二组声源并确定其中的每个声源在所述摄像头所确定的图像坐标系下的位置；以及根据所述音频坐标系与所述图像坐标系之间的配准关系、所述第一组声源中每个声源在所述音频坐标系下的位置、和所述第二组声源中每个声源在所述图像坐标系下的位置来对所述第一组声源和所述第二组声源中的每个声源进行分类。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的音频信号处理方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的音频信号处理方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的音频信号处理方法。