[发明专利]一种基于长短期记忆网络的电网舆情情感分类方法

摘要

本发明属于在舆情情感分类应用领域，公开了一种基于长短期记忆网络的电网舆情情感分类方法。主要是提出了XLNet‑SABiLSTM模型。该方法运用XLNet预训练模型，解决BERT使用Mask导致预训练‑微调不一致问题，增强词向量表达能力。同时引入自我注意力机制，弥补XLNet随机采样造成序列均匀化问题，获取词单词相邻相关性。并且运用双层BiLSTM进行特征提取与融合，减少特征稀疏性。该方法主要包含以下步骤：步骤1：数据预处理：对电网电力舆情数据进行预处理，以便后续模型的使用，包括以下步骤：(1)文本清洗：清除无效数据，对于数据中的字母、数字、标签、表情图片等无意义的内容进行清除。(2)文本分词：将中文文本语句分割为一个个词元。(3)文本清洗：清除语气词和一些无实意的词。步骤2：数据预训练：用预训练模型XLNet进行预训练获得动态词向量。步骤3：特征提取：将Self‑Attention和BiLSTM进行结合，运用双层甬道提取特征，进行特征融合。步骤4：电网舆情情感分类：经Droput层和Softmax层后，实现对电网电力舆情的情感分类。本发明提出的模型，主要针对BERT模型训练和测试时数据有差异，微调不准确的问题，以及现在情感分类主要分为两类：积极和消极，情感结果判断较为粗糙。XLNet‑SABiLSTM模型中训练和测试数据无差异，可以分析文本富含的情感，并且有效提高情感预测的准确度。