[发明专利]面向云平台的一种政务舆情监控方法

权利要求书

1.面向政务的一种舆情实时监控方法，其特征在于：所述的方法包括数据采集、数据预处理、数据分析及预警；所述的系统搭载在分布式集群上，由一个作为主节点的爬虫服务器和多个作为从节点的爬虫客户端组成，主节点负责任务分配，子节点负责任务执行，主从节点之间采用加密的心跳包进行通信；从节点上包括数据采集、预处理、分析及预警模块；所述的采集模块根据用户配置、以及知识库抓取论坛、新闻、贴吧、博客等数据，并自动过滤重复数据，构建主题数据库；数据预处理模块基于规则和自动混合的方式提取正文数据；数据分析及预警模块利用机器学习的方法对清洗后的文本进行聚类、情感分析、热点分析，并对分析结果进行预警。

2.根据权利要求1所述的面向政务的一种舆情实时监控方法，其特征在于：所述的主从节点之间的通信，包括如下步骤：

第一步，用户开启采集任务；

第二步，主节点保存任务信息到元数据信息库；

第三步，主节点根据用户配置信息进行任务初始化；

第四步，主节点根据丛节点的CPU、内存、当前任务数等指标进行任务分配；

第五步，从节点接收任务；

第六步，从节点发送成功接收任务消息到主节点；

第七步，主节点写任务信息到元数据库；

第八步，从节点开始执行任务；

第九步，若主节点N次未接收到从节点心跳包，则视为丛节点宕机并记录到日志系统，并重新分配任务给其他节点。

3.根据权利要求1所述的面向政务的一种舆情实时监控方法，其特征在于：所述的采集模块具体处理流程是：

第一步，获取待采集的URL；

第二步，通过数据路由器对URL进行过滤；

第三步，抓取页面数据；

第四步，对抓取的数据进行文本抽取，链接抽取，把抽取的链接加入待采集URL集合；

第五步，自动文本特征提取，生成网页指纹；

第六步，检测是否为有相同文章；

第七步，如果已有相同文章则放弃抓取返回第一步，否则对正文文本进行分词操作；

第八步，用TF_IDF算法提取N个关键词；

第九步，找到与其重合度最高的m篇文章；

第十步，若其重合度大于c则归为相应主题数据库；

第十一步，建立倒排索引以供其他模块使用。

4.根据权利要求2所述的面向政务的一种舆情实时监控方法，其特征在于：所述的采集模块具体处理流程是：

第一步，获取待采集的URL；

第二步，通过数据路由器对URL进行过滤；

第三步，抓取页面数据；

第四步，对抓取的数据进行文本抽取，链接抽取，把抽取的链接加入待采集URL集合；

第五步，自动文本特征提取，生成网页指纹；

第六步，检测是否为有相同文章；

第七步，如果已有相同文章则放弃抓取返回第一步，否则对正文文本进行分词操作；

第八步，用TF_IDF算法提取N个关键词；

第九步，找到与其重合度最高的m篇文章；

第十步，若其重合度大于c则归为相应主题数据库；

第十一步，建立倒排索引以供其他模块使用。

5.根据权利要求1至4任一项所述的面向政务的一种舆情实时监控方法，其特征在于：所述的数据分析及预警模块具体处理流程是：

第一步，将主题数据库进行重构，选择有代表性的数据；

第二步，对每篇文档进行情感分析并计算分值Tendency∈[-1,1]；

第三步，对上述分析结果记入预警数据库；

第四步，计算预警级别，其中degree_i代表第i篇文档的热度，其计算公式为：

degree_i＝(praise_i×0.3+comment_i×0.7)/(hour_i+2)

其中：praise_i代表赞数，comment_i代表评论数，hour_i代表发帖时间到现在的时差；

第五步，根据预警策略和预警级别给予email或短信等相应预警信息。