[发明专利]信号处理的方法和电子设备

说明书

本申请实施例提供了信号处理的方法和电子设备，该方法通过摄像头得到第一视频，结合麦克风阵列得到的第一音频信号，确定正在与电子设备进行语音交互的目标用户所在的目标声源方向，可以大幅提高目标声源方向的估计精度，以及，通过摄像头获取的在目标声源方向的用户唇部视频和预设的语音增强模型，对通过麦克风阵列获取的第二音频信号做语音增强处理，由于语音增强模型中集成了发音和唇型的对应关系，结合用户唇部视频和语音增强模型，可以恢复出较为干净的第三音频信号，最终，可以有效地提高语音识别效率。

技术领域

本申请涉及声学领域，更具体地，涉及一种信号处理的方法和电子设备。

背景技术

当前，例如智能电视、智能音箱、智能电灯等智能设备都可进行远扬拾音，例如，用户在5米外说一句“关灯”的指令，智能设备拾取语音且识别语音，并控制电灯执行对应的关灯动作。

常用的远场拾音技术是利用麦克风阵列拾取音频信号，并借助波束形成技术和回声消除算法，实现对环境噪声和回声的抑制，以得到较为清晰的音频信号。但是，实际环境中可能有各种噪声和干扰，例如厨房的做菜洗碗噪声、电视节目噪声、家人聊天的干扰噪声等，以及，部分家庭的房间空旷或者装潢的墙壁采用了声反射系数大的材料，导致混响较大，声音容易发糊，所有这些不利因素都会导致采用麦克风阵列拾取的声音的清晰度大大降低，从而导致语音识别率大幅下降。

因此，需要提供一种技术，可以大幅提高语音识别效率。

发明内容

本申请实施例提供了一种信号处理的方法和电子设备，通过一个音频信号和基于摄像头获得的视频，确定正在和电子设备进行语音交互的用户所在的目标声源方向，进而，基于摄像头获得的在该目标声源方向的用户唇部视频和预设的语音增强模型，对拾取的音频信号做语音增强处理，得到或恢复出较为清晰的音频信号，可以大幅提高语音识别效率。

第一方面，提供了一种信号处理的方法，其特征在于，应用于电子设备，所述电子设备包括麦克风阵列和摄像头，所述方法包括：

对通过所述麦克风阵列获得的第一音频信号进行声源定位，获得声源方向信息；

对通过所述摄像头获得的第一视频进行处理，获得用户方向信息；

根据所述声源方向信息和所述用户方向信息，确定目标声源方向；

通过所述摄像头获得在所述目标声源方向的用户唇部视频；

通过所述麦克风阵列获得第二音频信号；

根据所述第二音频信号和所述用户唇部视频，通过语音增强模型，获得第三音频信号，所述语音增强模型包括发音和唇型的对应关系。

声源方向信息包括至少一个声源方向，该至少一个声源方向包括目标声源方向。用户方向信息包括与用户相关的一些方向，示例性地，包括与用户相关的至少一种类型的方向。目标声源方向是正在和电子设备进行语音交互的目标用户所在的方向，即，目标用户发出的声音的来源方向。

用户唇部视频中记录有用户说话过程中的多个唇型，唇型与发音具有对应关系，即，一个唇型可对应一个或多个发音，当用户不说话时，唇部处于静止状态。在目标声源方向的用户唇部视频实际上也可以理解为目标用户的唇部视频。

语音增强模型的目的是对音频信号做拾音增强处理，增强在目标声源方向的音频信号，抑制或消除其他方向的包括说话人或背景噪声等产生的音频信号，以得到或恢复出较为清晰的音频信号。本申请实施例的语音增强模型融合了音视频的信息，集成了发音和唇型的对应关系，即，一个或多个发音可对应一个唇型。

示例性地，摄像头是可旋转的摄像头，在确定目标声源方向后，可将摄像头旋转至目标声源方向，拍摄在目标声源方向的用户唇部视频。