[发明专利]一种基于web文本的观点挖掘与分类的方法

摘要

本发明涉及一种基于web文本的观点挖掘与分类的方法，属于数据挖掘技术领域。本发明通过网络爬虫、观点挖掘、信息抽取、机器学习等技术从互联网中获取、发现新的话题，并持续跟踪和关注该话题，通过对得到话题的情感倾向性及真伪倾向性的综合分析。本发明能快速有效地在大数据时代背景下，通过从中挖掘热点主题倾向性走势，分析影响因子，为减少舆论导向对公众的负面影响，为互联网管理的决策提供参考。

主权项

一种基于web文本的观点挖掘与分类的方法，其特征在于：步骤1、初次获取web信息，初步处理并存入数据库：步骤2、使用向量空间模型进行文本特征构建，使用TF‑IDF模型计算特征词权重；采用Single‑Pass增量聚类方法，检测话题相似度，获得与主题相关的话题群；步骤3、根据话题中时间窗口和话题数量，提取出话题的摘要和关键词，计算话题数量与时间窗口的比值，分值由大到小排列；取分值超过某个阈值以上的话题作为热点话题，呈现给用户；步骤4、对已知的热点话题进行二次专题网络抓取，结合利用发帖人ID，构造热点话题的用户拓扑网络，并对每个热点话题内的每个子话题的评论建立倒排索引；步骤5、读取已处理的话题数据和情感词典，根据情感词典和语法模式库，从语料中抽取情感特征，构造话题分类训练数据集；使用朴素贝叶斯分类算法训练，得到话题观点情感倾向性分类模型；步骤6、读入待情感分类的子话题；通过自然语言处理，得到经中文分词和词性标注好的子话题；根据情感词典和语法模式库，从子话题中抽取情感特征，构造测试数据集；分类器读取测试数据和已训练好的话题情感分类模型，保存子话题情感分类结果；步骤7、话题观点情感倾向性识别后，对其话题进行真伪倾向性分类；构造用户信誉度、URL信誉度、权威结论集数据集；使用朴素贝叶斯分类算法，用户信誉度、URL信誉度、权威结论集作为影响因子，通过训练得到话题真伪分类模型；步骤8、读入待真伪分类的子话题；根据从话题中抽取出的情感特征，结合步骤7中的URL信誉、权威结论集；分类器读取测试数据和已训练好的分类模型，输出子话题真伪性分类的预测结果；步骤9：对待分类话题进行解析，得到子话题集；调用对每个子话题进行分类得到的情感分类结果；根据子话题之间的相似度，构建LexRank图模型，利用所构建的图模型，计算子话题的重要性和冗余度，最终输出话题情感分类结果；步骤10：结合情感倾向性分类结果：正面、负面；真伪性分类结果：真实、 伪造；绘制表格，作为辅助分析，挖掘出观点的影响因子。