[发明专利]一种基于深度学习的舆情情感分类方法

权利要求书

1.一种基于深度学习的舆情情感分类方法，其特征在于，运用XLNet+BiLSTM+Attention模型来进行情感分类，所述XLNet+BiLSTM+Attention模型包括：词嵌入层、BiLSTM层、Attention层、softmax分类层；词嵌入层是使用XLNet实现将文本数据转化低频词向量；BiLSTM层是使用6个BiLSTM单元，对词向量进行结合上下文的情感特征提取，分别提取6种情感的特征；Attention层是使用Attention机制分别对六种情感进行权重特征向量，强化更加重要的信息；softmax分类层是将情感分类结果归一化，准确明了得出文本语句中包含的六种情感的概率；

所述方法包含以下步骤：

步骤1：数据预处理，对爬虫爬取的微博热点言论文本进行清理，使用SentencePiece技术对中文数据进行分词；参考哈工大停用词表过滤停用词，删除常见的、无意义的词语；

步骤2：数据预训练，将分词输入XLNet模型中，使用XLNet模型作为词嵌入层，获取词序列x₁,x₂,x₃......x_n；

步骤3：特征提取，对步骤2训练得到的词序列作为BiLSTM模型的输入，根据双向LSTM单元获取隐向量和和的公式：

然后将两个隐向量进行拼接，形成特征向量h_t；

步骤4：Attention操作，对步骤3提取的特征向量h_t，进行Attention权重加值，提取更加有实际意义的特征向量，W_W,b_W是注意力模型的权重和偏置，h_t是BiLSTM层的输出，u_w也是权重，计算结果表示文本中每个词的重要程度，V是经过注意力模型计算后得到的输出向量，具体计算公式是：

u_t＝tanh(W_wh_t+b_w) (2)

步骤5：情感分类，利用步骤4加权后的特征向量进行情感分类，将向量输入到softmax函数中，进行最终言论的情感分类预测。

2.根据权利要求1所述的一种基于深度学习的舆情情感分类方法法，其特征在于，所述步骤2中的预训练模型，主要利用BERT模型对数据进行预训练，提取词向量。

3.根据权利要求1所述的一种基于深度学习的舆情情感分类方法，其特征在于，所述步骤3中的特征提取方式，对预训练得到的词向量使用BiLSTM神经网络提取上下文信息，获取特征向量，该BiLSTM层中使用6个BiLSTM情感分类器，计算每种感情的特征向量，使得句子的情感更加全面。

4.根据权利要求1所述的一种基于深度学习的舆情情感分类方法，其特征在于，所述步骤4中的Attention操作方法，采用Attention机制对特征向量进行权重加值，提高与情感分类相关的特征的权重，获取更加有实际意义的特征向量。