[发明专利]基于深度学习的声场景分类方法、系统、装置及存储介质

说明书

本申请公开了一种基于深度学习的声场景分类方法、系统、装置及存储介质，通过将语谱图分类引入声场景分类问题中，构建完整的声场景分类模型，利用深度学习的方法，提升场景分类的性能，具有良好的应用前景。

技术领域

本申请涉及语音识别技术领域，尤其涉及一种基于深度学习的声场景分类方法、系统、装置及存储介质。

背景技术

声场景分类作为语音识别的核心技术，其算法处于信号处理的前端，能够识别出人工智能产品使用者当前的声场景，自适应地调用相应的处理程序，实现针对不同场景声信号的个性化处理。本质上讲，声场景分类属于环境声识别问题，主要包括两个方面：特征提取和分类。特征提取是对声信号进行维数约减，提取出能代表原始信号的数据；而分类是指通过一定方法编码声特征，并与模板数据库进行比对以确定声信号所属类别。

由IEEE音频和声学信号处理(AASP)主办的DCASE是ASC研究的重要任务之一。在DCASE中取得最高排名者所使用的方法一直在逐年变化。DCASE2016中使用传统的机器学习方法i-Vector和NMF(非负矩阵分解)获得了最好成绩。在DCASE 2017中，大多数顶尖团队是使用卷积神经网络(CNN)的方法。在DCASE2018中，数据数量与DCASE 2017相比有所增加。

发明内容

为了解决上述技术问题，本申请实施例提供一种基于深度学习的声场景分类方法、系统、装置及存储介质。

本申请实施例第一方面提供了一种基于深度学习的声场景分类方法，可包括：

采用双声道麦克风录制获取原始音频，对所述原始音频降频采样处理后进行分帧加窗预处理；

提取双声道音频的梅尔谱图、谐波打击源分离音频的梅尔谱图、单声道音频的梅尔谱图，并与谐波源分离音频的梅尔谱图进行融合，形成三通道的谱图，并进行预处理；

引入批量归一化层代替Dropout层，构建VGG16卷积网络模型；

对模型训练多个完整的声场景分类模型，将该多个模型的输出结果进行集成，得到最终的分类结果。

进一步地，所述采用双声道麦克风录制获取原始音频，对所述原始音频降频采样处理后进行分帧加窗预处理包括：

获取原始音频数据；

对所述原始音频数据的采样率进行向下降低采样率处理；

对降频采样得到的数据进行分帧加窗预处理。

进一步地，所述提取双声道音频的梅尔谱图、谐波打击源分离音频的梅尔谱图、单声道音频的梅尔谱图，并与谐波源分离音频的梅尔谱图进行融合，形成三通道的谱图，并进行预处理包括：

利用Mel滤波器组获得梅尔频谱图，分别提取双声道音频的梅尔谱图、谐波打击源分离音频的梅尔谱图、单声道音频的梅尔谱图，并与HPSS音频的梅尔谱图进行融合，形成三通道的谱图。

提取双声道音频的梅尔谱图过程中，采用HTK方法，将梅尔谱图转换为对数刻度后进行归一化处理得到双声道音频的梅尔谱图；

提取谐波打击源分离音频的梅尔谱图过程中，将原始音频分离为谐波打击源(HPSS)音频，并对分离后的谐波音频和打击源音频分别求取梅尔谱图；

所述预处理包括：

不划分预处理：对特征谱不进行切割划分；

不重叠划分处理：对频谱以预设周期进行周期性划分，获取特征谱图；

重叠划分处理：对频谱以预设周期以及重叠率进行周期性划分，获取特征谱图；

三种梅尔谱图通过三种预处理获取9组不同的谱图，作为本步骤的输出数据。