[发明专利]一种自动发现互联网热点新闻主题的方法及系统

说明书

技术领域

本发明涉及互联网舆情分析中热点新闻自动发现领域。

背景技术

随着互联网的蓬勃发展，网络媒体具有巨大的引导舆论、影响受众的影响力，网上形成的舆论热点不断，频繁地成为社会热点乃至引起重大舆论危机。以往通过人力去发现互联网的热点事件往往带有滞后性，不能在第一时间内发现这些舆论热点，从而导致不能第一时间做出相应的应对措施，不能控制和正确的引导一个事件的发展而使事态进一步的恶化，其结果对整个社会来说会影响社会的安定团结，而对企业来说会使企业的形象受损。

发明内容

本发明的目的是提供一种自动发现互联网热点新闻主题的方法，就是要在第一时间内发现当下舆论热点，第一时间做出相应的应对措施，以控制或正确的引导一个事件的发展并获得符合法律法规且公众都能接受的结果，保证社会的和谐发展。替换掉以前那种大海捞针式的信息获取方式。

为了达到上述目的，本发明设定了一种自动发现互联网热点新闻主题的方法。首先，下载互联网上近期的新闻、博客、微博等类的网页并提取出标题和正文，其次，对提取出来的标题和正文进行分词获得一个词频向量，所有的文章组合在一起就会获得一个词频矩阵，再次，利用聚类算法对词频矩阵进行聚类分析，使主题相同的文章聚在一起，这样就获得了很多主题的聚簇，最后，我们提取每个聚簇的中心文章的标题以及每个聚簇的关键词来作为该簇的解释(即对该新闻主题的解释)。用户可以对机器产生的自动解释进行更加合理的组合。这种方式，有效的将分析技术、人工干预加以结合，提供更加贴近用户、更加高效的功能。

附图说明

图1为本发明的工作流程示意图。

具体实施方式

下面结合附图1对本发明所述的技术方案做进一步详细描述。

图1自动发现互联网热点新闻主题的方法所涉及的各个模块的方框图，其包括数据预处理器、聚类分析器和类别自动解析器三部分。数据预处理器包括新闻内容采集和词频矩阵的生成两个部分，新闻内容采集部分主要是获取互联网上的各种新闻网页并提取其中的正文，词频矩阵生成部分主要是对每一篇文章生成一个词频向量，所有的词频向量形成一个词频矩阵。聚类分析器是该方法的核心部分之一，主要是对文章进行分类。类别自动解析器是对聚类所获得的每个类别做自动的解释。

这个网页内容解析过程主要步骤如下：

1)采集当下互联网上的各种主题类网页。

2)提取新闻网页的标题和正文。

3)获得词频矩阵。

a)对文章进行分词，求每个词的词频及反向词频。

b)计算每个词的TFIDF值(即词频反向词频)。

c)把所计算的TFIDF值组合在一起获得一个词频向量(代表一篇文章)。

d)把所有的词频向量组合在一起获得一个词频矩阵。

4)进行聚类分析，获得一定数量的类别。

5)对每个类别进行自动解释。

a)计算中心文章并获得其标题。

b)提取每个类别的关键词。