[发明专利]声音事件检测与定位方法、装置、设备及可读存储介质

说明书

本申请提供一种声音事件检测与定位方法、装置、设备及可读存储介质，该方法包括：获取麦克风阵列采集到的多个音频信号；确定多个音频信号中的每两个音频信号之间的互相关函数矩阵；将每个互相关函数矩阵输入至预设声音事件分类模型，得到声音事件的类别矩阵，预设声音事件分类模型为预先训练好的的神经网络模型；对每个音频信号进行傅里叶变换，得到每个音频信号的频谱图，并根据每个音频信号的频谱数据，确定声音事件的声源方位矩阵；将类别矩阵和声源方位矩阵输入至预设匹配网络进行匹配，得到音频信号中的每个声音事件的类别以及与所述类别匹配的声源方位。本申请准确且快速的实现声音事件的检测和定位。

技术领域

本申请涉及语音处理技术领域，尤其涉及一种声音事件检测与定位方法、装置、设备及可读存储介质。

背景技术

现有的多重声音事件检测、分类和定位系统，即可检测一段时间内的声音信号，识别其中包含的不同声音事件的分类，并判断每一个声音事件发生的方位。该系统在机器人交互、自动驾驶和野外搜救等场景有着广泛的应用。但是目前的声音事件定位检测系统(sound event localization and detection，SELD)通常由两个独立的模块构成，即声音事件检测(sound event detection，SED)和方向检测(direction-of-arrivalestimation，DOAE)。目前深度学习已被广泛应用于SED模块，而DOAE模块多采用传统的基于麦克风阵列的信号处理算法，由于方向检测和事件检测被分开执行，该系统无法将SED和DOAE学习到的内容相结合，特别是在针对多个声音源的事件检测和定位的任务中，无法进一步提高系统的准确率。

发明内容

本申请的主要目的在于提供一种声音事件检测与定位方法、装置、设备及可读存储介质，旨在准确的实现声音事件的检测和定位。

第一方面，本申请提供一种声音事件检测与定位方法，应用于电子设备，所述电子设备包括麦克风阵列，所述麦克风阵列包括多个麦克风单元，所述方法包括：

获取所述麦克风阵列采集到的多个音频信号；

确定所述多个音频信号中的每两个所述音频信号之间的互相关函数矩阵；

将每个所述互相关函数矩阵输入至预设声音事件分类模型，得到声音事件的类别矩阵，所述预设声音事件分类模型为预先训练好的的神经网络模型；

对每个所述音频信号进行傅里叶变换，得到每个所述音频信号的频谱图，并根据每个所述音频信号的频谱数据，确定声音事件的声源方位矩阵；

将所述类别矩阵和所述声源方位矩阵输入至预设匹配网络进行匹配，得到所述音频信号中的每个声音事件的类别以及与所述类别匹配的声源方位。

第二方面，本申请还提供一种声音事件检测与定位装置，应用于电子设备，所述电子设备包括麦克风阵列，所述麦克风阵列包括多个麦克风单元，所述声音事件检测与定位装置包括获取模块、确定模块、生成模块、匹配模块，其中：

所述获取模块，用于获取所述麦克风阵列采集到的多个音频信号；

所述确定模块，用于确定所述多个音频信号中的每两个所述音频信号之间的互相关函数矩阵；

所述生成模块，用于将每个所述互相关函数矩阵输入至预设声音事件分类模型，得到声音事件的类别矩阵；

所述确定模块，还用于对每个所述音频信号进行傅里叶变换，得到每个所述音频信号的频谱图，并根据每个所述音频信号的频谱数据，确定声音事件的声源方位矩阵；

所述匹配模块，用于将所述类别矩阵和所述声源方位矩阵输入至预设匹配网络进行匹配，得到所述音频信号中的每个声音事件的类别以及与所述类别匹配的声源方位。