[发明专利]互联网新闻的舆情聚类分析方法、应用服务器及计算机可读存储介质

说明书

技术领域

本发明涉及数据分析技术领域，尤其涉及一种互联网新闻的舆情聚类分析方法、应用服务器及计算机可读存储介质。

背景技术

随着Internet的迅猛发展，网络信息已经成为人们生活中必不可少的一部分，目前中国网民数量已经超过2亿，中国网页数量也超过了80亿。网络媒体已被公认为继报纸、广播和电视之后的"第四媒体"，网络成为反应社会舆情的主要载体之一。网络舆情与社会舆情相互作用、相互影响，网络舆情与社会舆情在内容表现形态方面具有一致性，网络舆情一定程度上会影响社会舆情的发展趋势，因此网络舆情热点话题的发现具有十分重要的意义。

而各大互联网站的新闻热点层出不穷，抓取并找出这些新闻舆情热点，对互联网信息发布、舆情监督等都有重要意义。

因此，如何从互联网的海量信息中发现热点并呈现给用户，成为当下亟需解决的一大问题。

发明内容

有鉴于此，本发明提出一种互联网新闻的舆情聚类分析方法、应用服务器及计算机可读存储介质，以解决如何从互联网的海量信息中发现热点并呈现给用户的问题。

首先，为实现上述目的，本发明提出一种互联网新闻的舆情聚类分析方法，该方法包括步骤：

通过分布式爬虫在信息源获取新闻类信息，并存储到舆情数据库中；

对所述舆情数据库中的数据进行去噪、分词、聚类；

对聚类后的不同类新闻分别归纳主题摘要；及

将聚类后的新闻及所述主题摘要输出，并显示给用户。

优选地，所述信息源包括新闻网站、微博、微信、贴吧及论坛。

优选地，所述去噪步骤包括：

过滤图片、版权说明、广告，获得文档信息；及

过滤停用词。

优选地，所述的分词步骤还包括：

运用中文分词技术对采集到的所述新闻类信息进行分词。

优选地，所述聚类步骤包括：

设置包括敏感词、情感词的参照表；

获得关键词，并根据获得的关键词设置关键词参照表；

对照所述敏感词、情感词及关键词参照表分析出所述新闻类信息中的关键词、敏感词和带有情感倾向的词语；

根据关键词、情感词、敏感词将所述新闻类信息按照网页所属类别自动聚类；及

对聚类后的新闻按照热度进行排序。

优选地，所述获得所述关键词，并根据获得的所述关键词设置关键词参照表的步骤还包括：

对分词之后的所述新闻类信息进行分析，统计词语出现的频率，出现的位置及历史平均频率；

根据如下公式获得词语的重要度D：

D＝a*Fn+∑bi*Wi+c*Fh,i＝1,2,3…n；及

根据所述重要度D对各词语进行排序，将所述重要度D大于预设值的词语作为所述关键词并生成所述关键词参照表；

其中，a,b,c为词语当时出现的频率，位置及历史平均频率对应的权重值；Fn,Wi,Fh分别对应词语出现的频率，出现的位置，所述历史平均频率。

优选地，所述对聚类后的不同类新闻分别归纳主题摘要的步骤还包括：

对该新闻的正文进行分句，并保留句子长度在预设长度范围内的句子，记为保留句子；

分别计算所述保留句子与标题的相似度S(s)，以及所述保留句子的权重Q(s)；

根据公式R(s)＝Q(s)/S(S)计算所述保留句子的排序分；及

选取排序分最高的所述保留句子作为同类新闻的摘要；

其中，R(s)为所述保留句子的排序分。

优选地，计算所述相似度S(s)的步骤如下：

基于同义词词库对所述保留句子和标题进行同义词转换；及

针对同义词转换后的所述保留句子和标题采用Jaccard距离计算保留句子和标题的相似度S(s)。

此外，为实现上述目的，本发明还提供一种应用服务器，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的互联网新闻的舆情聚类分析系统，所述互联网新闻的舆情聚类分析系统被所述处理器执行时实现如上述的互联网新闻的舆情聚类分析方法的步骤。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有互联网新闻的舆情聚类分析系统，所述互联网新闻的舆情聚类分析系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的互联网新闻的舆情聚类分析方法的步骤。