[发明专利]信号处理的方法和电子设备

权利要求书

1.一种信号处理的方法，其特征在于，应用于电子设备，所述电子设备包括麦克风阵列和摄像头，所述方法包括：

对通过所述麦克风阵列获得的第一音频信号进行声源定位，获得声源方向信息；

对通过所述摄像头获得的第一视频进行处理，获得用户方向信息；

根据所述声源方向信息和所述用户方向信息，确定目标声源方向；

通过所述摄像头获得在所述目标声源方向的用户唇部视频；

通过所述麦克风阵列获得第二音频信号；

根据所述第二音频信号和所述用户唇部视频，通过语音增强模型，获得第三音频信号，所述语音增强模型包括发音和唇型的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述电子设备还包括指向性麦克风，所述方法还包括：

通过所述指向性麦克风获得在所述目标声源方向的第四音频信号；以及，

根据所述第二音频信号和在所述目标声源方向的用户唇部视频，通过语音增强模型，获得第三音频信号，包括：

根据所述第二音频信号、所述第四音频信号和所述用户唇部视频，通过所述语音增强模块，获得所述第三音频信号。

3.根据权利要求1或2所述的方法，其特征在于，所述用户方向信息包括以下至少一种类型的方向：

第一类方向，所述第一类方向包括至少一个处于活动状态的唇部所在的方向；

第二类方向，所述第二类方向包括至少一个用户所在的方向；

第三类方向，所述第三类方向包括至少一个正在注视所述电子设备的用户所在的方向。

4.根据权利要求3所述的方法，其特征在于，所述声源方向信息包括至少一个声源方向，以及，

所述根据所述声源方向信息和所述用户方向信息，确定目标声源方向，包括：

将所述至少一个声源方向和所述至少一种类型的方向合并处理，获得合并后的至少一个方向；

从所述至少一个方向中确定所述目标声源方向。

5.根据权利要求4所述的方法，其特征在于，所述从所述至少一个方向中确定所述目标声源方向，包括：

根据以下至少一个参数，从所述至少一个方向中确定所述目标声源方向；

其中，所述至少一个参数包括：

所述至少一个方向中每个方向在所述声源方向和所述至少一种类型的方向中被检测到的频率的总和；

在预设时段和所述每个方向对应的预设角度范围内，所述电子设备是否和用户成功进行过语音交互，所述预设时段是当前时间与历史时间之间的时段；

所述每个方向与垂直于所述电子设备的显示屏的方向之间的夹角。

6.根据权利要求5所述的方法，其特征在于，所述根据以下至少一个参数，从所述至少一个方向中确定所述目标声源方向，包括：

根据所述至少一个参数，确定所述每个方向的置信度；

将所述至少一个方向中数值最大的置信度对应的方向确定为所述目标声源方向。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述通过所述麦克风阵列获得第二音频信号，包括：

通过所述麦克风阵列，基于波束形成技术在所述目标声源方向上获得所述第二音频信号。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一音频信号为唤醒信号。

9.一种电子设备，其特征在于，包括麦克风阵列、摄像头和处理器，所述处理器用于：

对通过所述麦克风阵列获得的第一音频信号进行声源定位，获得声源方向信息；

对通过所述摄像头获得的第一视频进行处理，获得用户方向信息；

根据所述声源方向信息和所述用户方向信息，确定目标声源方向；

通过所述摄像头获得在所述目标声源方向的用户唇部视频；

通过所述麦克风阵列获得第二音频信号；

根据所述第二音频信号和所述用户唇部视频，通过语音增强模型，获得第三音频信号，所述语音增强模型包括发音和唇型的对应关系。