[发明专利]一种基于深度学习的声音事件检测和定位方法

说明书

在重叠声音事件检测任务中，有时会导致提取的全局特征无法准确地检测和定位重叠部分的声音事件。鉴于此，基于多尺度空间通道挤压激励卷积网络和门控循环单元（Gated Recurrent Unit,GRU）利用GRU来获取与上下文相关的声音事件的短期和长期序列特征，本发明提出了一种基于多尺度空间通道挤压激励（Multi‑scale spatial channel squeeze excitation，MscSE）的声音事件检测和定位模型。该模型与基线模型、残差网络模型在公开数据集DCASE2020Task3中进行对比实验。最佳结果分别为检测ER为0.59、F1分数为50.7%，定位误差DE和DE_F1分数分别为15.8，70.3%，F1分数比其它模型高2%~5%，ER也低于其它模型。由此可见，相比单一尺度的模型，基于多尺度的挤压激励模型在声音事件检测和定位性能均有所提升。

技术领域

本发明涉及一种基于多尺度空间通道挤压激励模型的声音事件检测和定位方法，属于 音频检测领域。

背景技术

声音事件检测和定位(Sound Event Location and Detection,SELD)的目标是检测 音频信息包含的声学内容，识别其中的声音事件标签和对应的时间和空间位置。SELD通常用来检测和定位“枪声”和“尖叫声”等异常声音，不仅是对视频或图像检测的补充， 比起视频存储和处理，声音通常消耗更少计算机资源。SELD一直是一个研究的热点，已 经在很多领域得到了应用，如：多媒体、交通、医疗保健、安全检测系统等。

早期利用隐马尔可夫模型(Hidden Markov model，HMM)用于检测相对静止的事件。 维特比解码产生声音事件序列，并定位声音事件的开始和偏移时间。利用时间先验和“语 言模型”来排除不太可能的声音时间序列，缺点是不能处理复音序列。Heittola等人利用一种多通道解码，用于复音事件检测，但仍然不能分离重叠声音事件的声学特征。为了处理声音事件的重叠，研究人员采用了源分离技术，如非负矩阵分解(Nonnegative MatrixFactorization，NMF)。虽然NMF擅长处理重叠的声音，能独立处理每个帧的频谱，但是 却不能模拟任何时间上下文。李应等人利用多随机森林算法，解决了各种场景下低信噪比 声音事件检测问题。Xu、Phan等人利用支持向量机(Support Vector Machine,SVM)和K- 近邻算法(K-NearestNeighbor,KNN)实现对事件的分类，由于数据量和数据集较少，导致 分类效果不高。

随着深度学习技术的快速发展，SELD也出现了一些基于神经网络的新技术。Hertel 等人利用深度学习方法分别比较时域和频域特征对于SELD的作用，实验结果显示频域特 征的识别效果更好；Kim、Adavanne S,等人针对不同的特征提取方法结合不同声道数据的 预处理，能得到更复杂的声音特征。

Jeong等人利用Log-Mel和LogAvg-Mel两种特征，有效提高了检测的效果。但是该模型对于不同种类的声音事件检测效果差异较大。除了讨论特征选择对效果的影响，有些文献也讨论了不同的网络结构对声音事件检测的影响，