[发明专利]基于多模态的音乐标签自动分类方法、装置及介质

说明书

本发明公开了一种基于多模态的音乐标签自动分类方法、装置及介质，其中方法包括以下步骤：获取待分类乐曲的音频数据和MIDI文件数据；根据音频数据获取梅尔声谱图；将MIDI文件数据分成多个音乐片段，并获取音乐片段的表示向量；对音频数据和MIDI文件数据进行切分，获得带有梅尔声谱图的音频数据切片和带有表示向量的MIDI数据切片；将音频数据切片和MIDI数据切片输入基于多模态的分类模型进行音乐标签预测，获得所有切片的分类结果；根据分类结果对待分类乐曲进行标签分类。本发明提出的方法充分处理了两种不同模态的信息，得到了丰富的抽象特征，通过多模态融合的方法，提高了音乐标签分类的性能，可广泛应用于音乐标签分类领域。

技术领域

本发明涉及音乐标签分类领域，尤其涉及一种基于多模态的音乐标签自动分类方法、装置及介质。

背景技术

音乐信息检索是一门使用计算方法分析和理解数字音乐内容的研究领域，近几年来收到许多学者的关注。音乐信息检索有着广泛的研究内容，其中音乐标签分类是最受关注的研究领域之一。大体上说音乐可以被三个总标签分类，分别是流派、情感和作曲家。目前在管理大型音乐数据时通常使用音乐标签作为音乐目录，便于管理和检索，大大加强和促进了音乐的搜索功能，同时，用户在听音乐时也喜欢选择和搜索音乐标签目录来浏览音乐内容。所以研究音乐标签分类有较广泛的实际应用价值。

以往由于音乐的复杂性和专业性，大部分音乐标签分类采用人工标注的方法。但是在进行大型音乐数据标注时，人工进行音乐标签分类是一项费时费力的工作，成本颇高，并且容易收到标注人员的主观意识影响，造成标注结果不能完全统一，所以使用标签自动分类来替代人工操作的方法成为了研究人员的研究热点。目前音乐标签自动分类方法大致分成两个步骤，分别是手工提取特征和使用传统机器学习方法进行分类。研究人员首先从音乐数据中提取代表性强、区分度高的音乐信息特征，然后设计并且训练相应的机器学习分类器，将音乐特征输入到分类器中进行流派分类。但是人工提取音乐特征应用局限，鲁棒性较差，不同的音乐数据集可能需要尝试提取大量不同种类的音乐特征才能得到比较好的分类效果。而且在目前的分类任务中，还是以机器学习分类方法为主，但是由于其自身的浅层结构，限制了对音乐特征的学习，难以提取更有效的特征表征音乐，影响了分类的准确性。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于多模态的音乐标签自动分类方法、装置及介质。

本发明所采用的技术方案是：

一种基于多模态的音乐标签自动分类方法，包括以下步骤：

获取待分类乐曲的音频数据和MIDI文件数据；

根据音频数据获取梅尔声谱图；

将MIDI文件数据分成多个音乐片段，并获取音乐片段的表示向量；

对音频数据和MIDI文件数据进行切分，获得带有梅尔声谱图的音频数据切片和带有表示向量的MIDI数据切片；

将音频数据切片和MIDI数据切片输入基于多模态的分类模型进行音乐标签预测，获得所有切片的分类结果；

根据分类结果对待分类乐曲进行标签分类。

进一步，所述音乐标签自动分类方法还包括构建分类模型的步骤，包括：

构建基于卷积循环神经网络的音频模态分类模型，用于对音频数据切片进行音频模态特征抽取；

构建基于双向门控循环单元的MIDI音乐模态分类模型，用于对MIDI数据切片进行MIDI数据模态特征抽取；

将音频模态特征和MIDI模态抽象特征进行多模态融合，获得分类模型；

采用预设标注数据集对分类模型进行训练。

进一步，所述根据音频数据获取梅尔声谱图，包括：