[发明专利]基于层次注意力机制的歌词情感分类方法

说明书

本发明公开了基于层次注意力机制的歌词情感分类方法，使用层次注意力机制提取歌词段落间的结构特征，以关注歌词不同段落之间语义的差异。在层次注意力机制的基础上融入歌词的情感强度特征，以捕捉歌词不同段落之间情感强度的变化。本发明使用层次注意力机制对歌词进行层次化的信息提取，设计了基于词级别的注意力机制和基于段落的注意力机制，提取歌词不同段落的结构和语义特征，更好的关注到段落之间语义的差异，改善了现有的歌词情感分类方法没有考虑到歌词结构特征的缺陷，为情感强度高的词语和段落赋予了更高的关注度，使模型关注到段落间情感强度的变化，提升情感分类的效果。

技术领域

本发明涉及深度学习自然语言处理技术领域，具体涉及一种基于层次注意力机制的中文歌曲情感分类方法，可用于中文歌曲的情感分类任务中，能够为音乐检索、音乐推荐、音乐组织和音乐治疗任务所服务。

背景技术

音乐是日常生活中不可或缺的多媒体资源，海量音乐作品的组织和检索问题受到专家学者的广泛关注，并逐渐成为研究热点。音乐中包含了丰富的情感信息，基于情感进行分类能够有效提高音乐检索的效率。音乐中可以提取到音频和歌词两种模态的信息，基于音频的音乐情感分类方法通过提取时域与频域音频特征来进行分类，然而目前的技术很难使音乐情感识别的性能得到进一步提升。歌词是音乐的重要组成部分，比音频数据更容易获得和处理，歌词中不仅包含了语义信息，也包含了丰富的情感信息，使用歌词进行情感分类可以提升音乐情感分类的性能。

早期的歌词情感分类，研究者大多使用构建情感词典、建立情感向量空间模型的方式进行，这种方法以歌词中的情感词作为情感极性的判断依据，忽略了歌词的整体语义信息。近年来研究者将深度学习方法应用于歌词情感分类任务并取得不错的效果，改善了基于情感向量空间模型方法所存在的弊端。目前基于深度学习的歌词情感分类方法通常将整首歌词作为模型的输入，没有针对歌词的特性进行改进。歌词具有很强的结构性，通常由多个段落组成，不同的段落之间语义没有关联，情感强度也有差异。如果将整首歌词作为一个整体输入到神经网络模型并不能带来很好的分类效果。同时，歌词中包含丰富的情感词，不同段落之间情感强度不同，合理利用情感词的词频、情感极性、情感强度等特征可以进一步提升情感分类的性能。目前的歌词情感分类方法没有考虑到歌词的结构特征与情感强度的变化。本发明针对以上问题进行了改进。

本发明提出了一种基于层次注意力机制的歌词情感分类方法，改善了现有方法所存在的弊端。(1)使用层次注意力机制提取歌词的结构特征，以关注歌词不同段落之间语义的差异。(2)在层次注意力机制基础上融入了歌词的情感强度特征，以捕捉歌词段落间情感强度的变换。(3)在互联网的公开音乐网站爬取中文歌词，构建了包含1851中文歌词的数据集，并在自建中文歌词数据集和公开英文歌词数据集上分别进行了实验，验证本发明所提出模型的有效性。

发明内容

本发明的主要思想是：歌曲的歌词由多个段落组成，具有很强的结构性，不同段落之间语义没有关联，情感强度也有差异。如果将歌词作为一个整体输入到神经网络模型，会忽略歌词的结构特征与不同段落间情感强度的变化。针对这一问题，本发明提出了一种基于层次注意力机制的歌词情感分类模型，使用层次注意力机制捕捉歌词长文本的序列信息，更好的关注到歌词的层次结构。在层次注意力机制的基础上融入歌词的情感特征，以捕捉歌词不同段落情感强度的变化。

本发明包括以下步骤：

步骤一：数据集的建立；中文歌曲领域缺乏公开数据集，通过网络爬虫技术在音乐网站爬取歌词，构建包含1851首中文歌词的数据集。按照VA情感模型进行情感极性标注，通过音乐网站的歌单标签作为情感极性标注的依据。为了验证模型泛化性，在公开英文歌词数据集Lyrics emotion dataset也进行对比实验。

步骤二：歌词编码；首先，将数据集中的歌词进行分段，对段落中的词语进行词嵌入编码，获得词语的向量表示。然后将词向量依次拼接，构成歌词段落的向量表示。