[发明专利]一种层级融合的音频数据增强方法及系统

说明书

本发明提出了一种层级融合的音频数据增强方法及系统，该方法包括：采集原始音频信号X；使用WSOLA算法对音频信号X进行时域信号压扩，得到压扩后的音频X_o；将处理后的音频X_o与原始音频X混合，组成新的训练集S_x；对训练集中的每一条音频进行频率提取；使用SWIPE算法进行基频估计并构建基频集S_f；使用加入了扰动的基频对频率进行归一化，构建频率集S_F；使用快速傅里叶变换提取声学特征。本发明提出的音频数据增强方法提高了模型对于带噪音频的识别性能，能够适用于多种语音任务，包括但不限于：音频分类、声纹识别和语音识别等。

技术领域

本发明涉及一种可适用于多种音频任务的音频数据增强方法，属于音频数据处理领域。

背景技术

目前，大多数音频任务都依赖于有标数据的数量，通常数据量越大，模型的效果越好。对于低资源条件下的音频任务，数据增强是一种简单有效的构造新样本的方法。利用数据增强技术，模型可以在小样本的条件下提取到稳定的语音表征，相比于原始的训练方法，识别效果也大大提升。

现有的研究集中于前端和特征两个方面的数据增强，以提高在未知环境下的识别性能。对原始音频添加参数化的混响、偏移和速度扰动都可以模拟真实环境下的噪声，用这种方法进行数据增强可以大大提高模型的鲁棒性。此外，使用声道长度扰动技术扩增数据也被证明是有效的。此外，基于信号压缩的数据增强方法已经成功用于声音攻击检测领域，该方法基于a律和μ律信号压缩方法通过对原始信号的压缩和扩展实现数据增强。

除了在前端进行数据增强，还可以对音频特征进行数据增强，现有研究基于基频归一化实现了音频特征的数据增强，通过对基频添加不同程度的扰动构造出多个相近的频率。该方法在语音识别任务上能够取得不错的效果。

发明内容

本发明要解决的技术问题是：对于音频分类任务：一方面，获取大量的外部噪声数据实现数据增强的成本较高；另一方面，现有方法所构造出的样本比较有限。

为了解决上述技术问题，本发明的一个技术方案是提供了一种层级融合的音频数据增强方法，其特征在于，包括以下步骤：

a)采集原始信号，并以数字信号的形式保存为音频X；

b)对音频X进行时域信号压扩，得到压扩后的音频X_o：

对音频X进行时域信号压扩时，采用波形相似重叠叠加算法，在保留谐波信号的同时引入一系列的失真，从而得到压扩后的音频X_o；

c)将压扩后的音频X_o与原始音频X混合，组成新的训练集S_x；

d)对训练集S_x中的每一条音频进行频率提取，得到频率f；

e)对每一条音频进行基频提取，获得基频f_o，def；

d)对基频f_o，def扰动添加，构成基频集S_f：

对于基频f_o，def添加扰动，分别加入±20，±40和±60的频率偏移量，得到的扰动后基频f_o与原始基频f_o，def共同组成基频集S_f；

e)使用基频集S_f对频率进行归一化，构建频率集S_F：

使用基频集S_f对频率特征进行归一化操作，对于当前音频对应的频谱图，使用步骤d)提取每一帧的基频，并统计出基频的中位数，记作f_o，audio，再分别使用基频集S_f中的每个值对梅尔尺度下的频率值进行标准化：