[发明专利]一种基于迁移学习的音频自动标注方法

权利要求书

1.一种基于迁移学习的音频自动标注方法，该算法主要包括如下步骤：

步骤1：数据预处理，清洗数据集，将音频信息进行短时傅里叶变换转化为频域信息，得到声谱图作为音频信号在频域的表示；依据数据集的标注分布筛选一级标注，划分为多个一级标注数据(例如：流派数据集、情感数据集、乐器数据集)。

步骤2：迁移学习，对于步骤1中得到的m个子数据集，将图像识别中的网络模型迁移过来分别进行训练微调，构建一级标签下的音频自动标注分类器，并扩充音频标注数据集。

步骤3：音频自动标注，针对步骤2中扩充过后的数据集，构建模型进行知识学习，训练出音频自动标注分类器。

2.根据权利要求1所述的基于迁移学习的音频自动标注方法，其特征在于步骤1所述的数据集划分方式，针对原始数据集标注的分布情况，构建m个一级标签，每个一级标签下对应多个二级标签，其中，二级标签为原始数据集标签，如此，将原始的多标签大数据集划分为多个一级标签对应的子数据集。

3.根据权利1要求所述的基于迁移学习的音频自动标注方法，其特征在于步骤2所述的迁移学习模型的选择与训练，主要利用在图像领域中表现较好的网络模型，迁移至音频分类任务上，进行微调，提高音频分类的准确性，并且可以考虑在该任务上进行模型的改进，构建音频分类分类器，进一步提升音频分类的效果。

4.根据权利1要求所述的基于迁移学习的音频自动标注方法，其特征在于步骤2所述的数据集原始标注的扩充方式，选取某个子数据集，应用步骤2中音频分类分类器进行训练测试，当分类精确度达到一定高度时，可以认为该分类器可以预测出其他数据集的该类标注，从而对其他数据集进行标注，如此，可以将原始标注数据集扩充为每条音频至少被标注m个标签的数据集，提高标注数据集的多样性和均衡性。

5.根据权利1要求所述的基于迁移学习的音频自动标注方法，其特征在于步骤3所述的音频自动标注方法，针对步骤2中扩充后的数据集(每条音频至少被标注m个标签)进行多分类；以声谱图为输入，m个标注为目标，构建音频标注分类器，对音频的频域特性进行知识学习；由于原始信号中包含丰富的时域信息，所以，将时域波形作为另一个分类器的输入，学习音频信号的时序特性；最后，将两个分类器的输出(概率分布)进行决策级融合，具体公式如(1)所示：

其中，n表示模型个数，weight_i表示模型i的权重，P_i表示模型i的预测概率值，这不仅大幅提高了音频自动标注模型的准确率，还充分地利用了音频信息。