[发明专利]一种基于深度学习的舆情情感分类方法

说明书

本发明公开了一种基于深度学习的舆情情感分类方法，运用XLNet+BiLSTM+Attention模型来进行情感分类，该方法主要包含以下步骤：数据预处理，对微博热点事件评论数据进行预处理；数据预训练，将数据放入XLNet模型，提取XLNet词向量表示；特征提取，将词向量输入BiLSTM模型中，获取文本上下文信息特征；Attention操作，运行Attention机制通过权重值提取更深层次特征向量；情感分类，运用softmax函数进行归一化，预测出该言论的情感倾向，本发明提出的模型，主要针对BERT模型训练和测试时数据有差异，微调不准确的问题，以及现在情感分类主要分为两类：积极和消极，情感判断较粗糙，XLNet+BiLSTM+Attention模型中训练和测试数据无差异，结果可以对文本分析富含的多种情感，并且有效提高情感预测的准确度。

技术领域

本发明涉及自然语言处理的情感分类领域和深度学习领域，具体来说是涉及一种基于深度学习的舆情情感分类方法。

背景技术

自然语言处理领域中情感分类问题，人们的研究方法由基于情感词典的舆情情感分析到基于机器学习的舆情情感分析。现在最为流行的是基于深度学习的舆情情感分析方法。深度学习方法节约了大量的人工时间，无须一个个进行特征提取操作。神经网络可以通过自动学习来主动提取特征向量。CNN、RNN、LSTM等神经网络算法是情感分类问题中常用的算法。但是这些神经网络方法在运用到获取情感分类方面的准确性还是不够高。有些在进行情感分类的同时，并不能够很好的考虑上下文之间的联系，以及权重的偏差。并且大部分的情感分类只是简单的判断情感倾向是积极或是消极，比较单一，没有考虑到文本中可能包含着多种情感色彩。因此有必要设计一种基于深度学习的情感分类方法，能够在这些方面取得很好的效果。

高质量的词向量表示是深度学习模型在情感分类领域取得突破的重要因素之一。2018年Google提出BERT模型后，在NLP领域刷新了许多任务的记录。BERT模型内部采用了双向Transformer架构，完全基于注意力机制，能够训练得出上下文相关的动态词向量，为后续的神经网络训练提供更加准确的词向量，提高模型的分类准确性。人们便大量研究将BERT模型运用到实验中，并且也获得较为理想的结果。但BERT模型中运用[MASK]掩盖词，该词可能存在特殊意义；其次训练时存在MASK符号，而测试时并没有MASK，导致微调会存在一些差异。于是，2019年Google提出了一种新型模型XLNet模型，很好的弥补了BERT模型的缺陷。XLNet模型利用随机打乱语句中词语次序，然后掩盖最后的词，再利用上下文进行预测，弥补了训练和测试时MASK差异的问题。

在词向量建模句子级别的语义特征时，句子和文档存在着序列结构。因此序列模型RNN被经常运用在分析情感分类问题上。但是RNN算法在反向传播时会出现梯度消失或者爆炸的问题。BiLSTM是RNN模型转化而来，很好的解决了这个问题。并且BiLSTM神经网络能够学习句子的长期依赖性，保留重要历史特征信息。能够有效的解决了RNN算法存在的长期依赖问题和上下文深层语义挖掘不充分的问题。将Attention机制与BiLSTM模型相结合，弥补BiLSTM均值化无差别的缺陷。

本发明提出的XLNet+BiLSTM+Attention模型能够很好的弥补BERT模型训练和测试时数据有差异的问题，并且其中的BiLSTM分析多种情感种类以弥补现在情感分类较为单一的问题。这种模型较好地提高了情感分析的全面性以及准确性。

发明内容

本发明的目的是为了提高情感分析的准确性，以及提高情感分析的全面性，提出了一种基于深度学习的情感分类方法。其中运用XLNet+BiLSTM+Attention模型来进行情感分类，有效的提高情感分类的准确性，并且分析多种情感种类，全面分析语句中包含的多种感情。

技术方案：一种基于深度学习的舆情情感分类方法，包括：