[发明专利]基于情绪类别描述的微博情绪分类方法

说明书

本发明涉及基于情绪类别描述的微博情绪分类方法，属于自然语言处理技术领域。本发明首先提出情绪类别描述策略，将待分类微博的所有情绪类别都扩展为形式化的类别描述；其次，将微博文本与类别描述拼接成一个问答对，输入到预训练的BERT模型中；其次，将问答对经过BERT模型编码后得到的隐状态输入到两层全连接神经网络中，输出整个问答对的融合语义表示；最后，将问答对的融合语义表示输入到Softmax层中，输出归一化的情绪类别概率分布，实现微博的情绪分类，本发明相比基线方法BERT，宏平均和微平均F1值分别提升了1.77％和1.71％，证明了本发明方法的有效性。

技术领域

本发明涉及基于情绪类别描述的微博情绪分类方法，属于自然语言处理技术领域。

背景技术

微博情绪分类是舆情分析的基础。与一般的情感分类将文本的情感分为主客观或者正负面不同，情绪分类要求识别文本中更细致的情感，例如happiness、anger、sadness和fear等。传统有监督的情绪分类方法一般将类别转换为数字标签，作为监督信号指导模型的学习过程。例如，用“1”表示happiness情绪，“2”表示anger情绪。具体地，数字标签将被表示为one-hot向量，用于计算训练损失，然后通过反向传播算法最小化目标函数，从而达到训练模型的目的。这种方式只考虑了微博本身的特征，没有结合情绪类别的含义进行建模，导致模型在学习时，不知道被分类的是什么，无法将样本准确地分到相应的类别上。微博情绪分类实际上是一个通过阅读微博内容，结合情绪类别的语义，理解其是否蕴含某种情绪的过程。受此启发，本发明提出一种基于情绪类别描述的微博情绪分类模型。

发明内容

本发明提供了基于情绪类别描述的微博情绪分类方法，以用于解决传统方法在微博情绪分类任务中没有考虑情绪类别语义信息的问题。

本发明的技术方案是：基于情绪类别描述的微博情绪分类方法，首先提出情绪类别描述策略，将待分类微博的所有情绪类别都扩展为形式化的类别描述；其次，将微博文本与类别描述拼接成一个问答对，输入到预训练的BERT模型中；其次，将问答对经过BERT模型编码后得到的隐状态输入到两层全连接神经网络中，输出整个问答对的融合语义表示；最后，将问答对的融合语义表示输入到Softmax层中，输出归一化的情绪类别概率分布，实现微博的情绪分类。

作为本发明的进一步方案，所述方法的具体步骤如下：

Step1、收集微博文本作为实验数据集，并进行预处理操作，预处理操作后每条数据的人工标签为若干种情绪类别中的一种；

Step2、提出三种情绪类别描述策略，将若干种情绪类别都扩展为形式化的类别描述；其中三种情绪类别描述策略分别是：基于关键词的类别描述策略、基于关键词扩展的类别描述策略、基于情绪定义的类别描述策略；

Step3、构建基于情绪类别描述的预训练BERT情绪分类模型：在Step1和Step2的基础上，首先，基于问答的思想，将微博文本作为问题，将所有情绪类别的类别描述拼接成一个候选答案集，微博文本与类别描述一起构成一个问答对，作为预训练BERT模型的输入，以此融合丰富的上下文语义以及类别的语义信息；其次，将问答对经过BERT模型编码后得到的“[CLS]”token的隐状态输入到两层全连接神经网络中，输出整个问答对的融合语义表示；最后，将问答对的融合语义表示输入到Softmax层中，输出归一化的情绪类别概率分布，实现微博的情绪分类。

其中，“[CLS]”表示特殊的分类token，“[CLS]”的最后一层隐状态可以用于表示文本的语义进行分类任务；“[SEP]”表示分割符token，用于分割问答对中的两个句子。

作为本发明的进一步方案，所述Step1中，预处理包括去重、去除“//”、“@”和URL数据。

作为本发明的进一步方案，所述Step1中，预处理操作后每条数据的人工标签为：happiness、anger、sadness、fear和neutral这5种情绪类别之一。