[发明专利]一种基于几何约束全局相干场和视觉引导的说话人声源定位方法和系统

说明书

本发明涉及一种基于几何约束全局相干场和视觉引导的说话人声源定位方法和系统。该方法包括：采用相机几何模型提取几何约束全局相干场线索，以表示声源信号的空间特征；根据与音频信号同步的视频帧的图片样本中的说话人位置标注，生成视觉引导的二值化伪标签；采用卷积神经网络结合全连接网络构成声学网络，声学网络利用几何约束全局相干场线索生成声学位置图谱，计算声学位置图谱与生成的伪标签的均方误差来训练声学网络；采用训练好的声学网络生成声学位置图谱，根据声学位置图谱中的峰值位置确定说话人声源的位置坐标。本发明利用视觉模态和听觉模态之间的互补性和一致性，增强了声学网络对于声源位置的学习能力，能够实现准确的声源定位。

技术领域

本发明属于音视频信号处理领域，具体涉及一种基于几何约束全局相干场和视觉引导的说话人声源定位方法和系统。

背景技术

作为人机交互的基础，声源定位在智能人机系统中起着重要的作用，是实现机器人与人、与环境交互的基础环节。声源定位是指利用搭载在机器人身上或者外部的声学传感器定位出声源相对的位置或者方位信息。机器人通过声源定位获得声源位置或方位信息后，能够将声源的位置信息馈送到更高的处理单元以实现进一步需求功能。说话人声源定位方法在视频会议、移动机器人、智能监控、智能导购等多方面发挥着重要的作用。然而，单一模态下的说话人声源定位方法受到模态本身的限制，听觉模态会受到环境声学噪声、房间混响等的影响。因此，可以借助于多模态方法，利用视、听模态之间的互补性，提高说话人声源定位的精确度与鲁棒性。

传统的声源定位方法主要包括到达时间差技术、可控波束形成、高分辨率谱估计等。基于到达时间差技术的声源定位方法是利用声源信号到达不同麦克风的相对时间差进行定位的方法。基于到达时间差的方法计算复杂度较低。但是，时延估计产生的误差会累积到位置估计阶段，这在一定程度上是对声源位置的次最优估计。可控波束形成技术可以利用空间信息做空间滤波，对于非期望方向的干扰语音或者其他非平稳噪声可以线性地衰减。但是，可控波束形成技术依赖于声源信号和噪声信号的先验信息，但在实际应用中这些信息往往较难获取。基于高分辨谱估计的方法是对麦克风信号的协方差矩阵进行特征值分解，利用信号子空间和噪声子空间的正交性估计空间谱，最后通过搜索空间谱极值确定声源的空间位置。高分辨率谱估计技术属于超分辨率估计技术，其空间分辨率不受麦克风信号采样率的约束，并且突破了“瑞利(Rayleigh)限”的限制，在一定条件下可以实现任意精度。但是该方法的定位准确度与空间的划分精度息息相关，对整个定位候选空间进行精细地搜索会使得算法复杂度升高。

随着深度学习技术的发展，基于监督方式学习的声源定位方法受到越来越多的研究学者关注。与传统无监督的方法相比，基于深度学习的声源定位方法是数据驱动的，因此可以很好地适应训练数据中存在的声学条件。此外，机器人的感知模态是多维的，视觉和听觉所提供的声源信息在一定程度上是互补的。因此可以使用视觉信息作为监督信号，训练网络学习更加精确的声源位置线索。

发明内容

本发明针对复杂场景中移动说话人的声源定位问题，提出了一种基于几何约束全局相干场和视觉引导的说话人声源定位方法和系统。

本发明采用的技术方案如下：

一种基于几何约束全局相干场和视觉引导的说话人声源定位方法，包括以下步骤：

采用相机几何模型提取几何约束全局相干场(Global Coherence Field,GCF)线索，以表示声源信号的空间特征；

根据与音频信号同步的视频帧的图片样本中的说话人位置标注，生成视觉引导的二值化伪标签；

采用卷积神经网络结合全连接网络构成声学网络，声学网络利用几何约束全局相干场线索生成声学位置图谱，计算该声学位置图谱与生成的伪标签的均方误差(MeanSquared Error,MSE)来训练声学网络；

采用训练好的声学网络生成声学位置图谱，根据声学位置图谱中的峰值位置确定说话人声源的位置坐标。