[发明专利]一种音频帧序列到事件标签序列的声音事件标注方法

说明书

本发明涉及一种音频帧序列到事件标签序列的声音事件标注方法，包括如下步骤：步骤S1:从给定音频文件中提取梅尔能量特征，并将其处理成特征序列；步骤S2:根据得到的特征序列，使用三层卷积神经网络提取每帧的抽象特征，并通过双向门限递归单元神经网络提取帧综合特征序列；步骤S3:根据得到的综合特征序列，通过Softmax前馈神经网络层作为注意力机制层，得到注意力特征,并进一步得到事件标签序列；步骤S4:将得到的所有音频片段的声音事件标签序列联合，并进行合并和平滑处理,得到检测结果。本发明使用多任务损失机制，在降低误检测的同时提高事件检出率，改善定位准确度，最后对模型输出进行平滑和合并处理，以显著提高音频文件中声音事件的标注精度。

技术领域

本发明涉及声音标注领域，具体涉及一种音频帧序列到事件标签序列的声音事件标注方法。

背景技术

声音事件标注往往涉及到语音信号的分析与处理中诸多方面的工作。根据研究的侧重点不同，目前的研究工作包含两大块：特征提取与标注定位。前者主要研究如何提取能够较好地刻画目标声音事件的音频特征；后者主要研究如何通过对特征的学习和建模，运用分类，回归等多种方法，进行目标声音事件进行定位。

声音事件的特征通常沿用语音信号在时频域和倒谱域的特征。常用的声音事件特征包括梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)、梅尔能量(Mel-energy)、线性预测倒谱系数(Linear Prediction Cepstral Coefficient,LPCC)等。

传统的音频标注方法一般使用分段标注机制，该机制一般以音频片段为单位先完成音频事件识别，然后再后处理阶段完成音频事件定位。即，先将输入音频按照固定时长，逐帧移动的方式进行切分，提取每个声音片段的音频特征经由分类输出每个音频片段的分类结果。为了定位音频中每个音频事件发生的起止时间，就需要对所有音频片段的分类结果进行后处理，依据置信度逐帧确定每帧的音频事件类别，得到每一帧的声音事件类别后，逐帧合并平滑处理得到最终标注结果。

发明内容

有鉴于此，本发明的目的在于提供一种音频帧序列到事件标签序列的声音事件标注方法，使用多任务损失机制，在降低误检测的同时提高事件检出率，改善定位准确度，最后对模型输出进行平滑和合并处理，以显著提高音频文件中声音事件的标注精度。

为实现上述目的，本发明采用如下技术方案：

一种音频帧序列到事件标签序列的声音事件标注方法，包括如下步骤：

步骤S1:从给定音频文件中提取梅尔能量特征，并将其处理成特征序列；

步骤S2:根据得到的特征序列，使用三层卷积神经网络提取每帧的抽象特征，并通过双向门限递归单元神经网络提取帧综合特征序列；

步骤S3:根据得到的综合特征序列，通过Softmax前馈神经网络层作为注意力机制层，得到注意力特征,并进一步得到事件标签序列；

步骤S4:将得到的所有音频片段的声音事件标签序列联合，并进行合并和平滑处理,得到标注结果。

进一步的，所述步骤S1具体为：

步骤S11:将给定音频文件按照时长1.2秒切分为待检测的声音分段，每个声音片段包含61个音频帧，每帧时长40ms；

步骤S12:对每帧提取123维的梅尔能量特征，构成帧特征序列。

进一步的，所述步骤S2具体为：

步骤S21:将S1中得到的61帧123维大小的浅层梅尔能量特征序列，使用三层卷积神经网络提取每帧的抽象特征；

步骤S22:通过双向门限递归单元神经网络提取帧综合特征序列。

进一步的，所述步骤S3具体为：