[发明专利]一种热点新闻挖掘方法、装置及服务器

说明书

本发明提出一种热点新闻挖掘方法、装置及服务器，所述方法包括：通过网络爬虫程序抓取包含有新闻热词的网站，以抽取其中的新闻热词并存储；对所述新闻热词进行聚类处理，并根据聚类结果计算所述聚类后的新闻热词的热度；根据所述新闻热词的热度对所述新闻热词进行排序，将排序后的新闻热词对应的新闻发送至用户。上述技术方案中的一个技术方案具有如下优点或有益效果：通过网络爬虫程序抓取包含新闻热词，并对新闻热词进行聚类处理，并根据聚类结果计算所述聚类后的新闻热词的热度，然后将根据热度排序后的新闻热词对应的新闻发送至用户，该技术方案考虑到新闻的时效性、覆盖面和准确性，能够满足用户的需求。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种热点新闻挖掘方法、装置及服务器。

背景技术

新闻是指最新发生的，人们未知、欲知、应知的事实的报道。新点新闻是指互联网中的热门新闻。热点新闻挖掘是指利用算法技术识别互联网中的热门新闻，然后分发给用户，抢占用户需求。

热点新闻的挖掘与提供极大地方便了用户对新闻信息的获取。然而，在海量数据中，能准确且全面挖掘当前热点新闻十分困难，传统方法通常采用人工监控互联网站上的新闻来判断热点新闻，这种方式显然需要较大人力成本，且时效性较差，不能及时为用户提供热点新闻，相应地，也降低了用户获取热点新闻的效率。还有通过简单聚类算法技术，利用爬虫技术实时抓取各个站点新闻，并通过聚类技术对新闻做聚类，但由于各个新闻站点发布新闻时间不同，所以当重大新闻出现时，需要较长时间来识别是否为热点新闻，因此也降低了效率。

发明内容

本发明实施例提供一种热点新闻挖掘方法、装置及服务器，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种热点新闻挖掘方法，所述方法包括：

通过网络爬虫程序抓取包含有新闻热词的网站，以抽取其中的新闻热词并存储；

对所述新闻热词进行聚类处理，并根据聚类结果计算所述聚类后的新闻热词的热度；

根据所述新闻热词的热度对所述新闻热词进行排序，将排序后的新闻热词对应的新闻发送至用户。

结合第一方面，本发明在第一方面的第一种实施方式中，对所述新闻热词进行聚类处理，包括：

对相同网站抓取到的新闻热词进行去重处理；

计算去重处理后的所述新闻热词之间的相似度，通过相似度对每个所述新闻热词进行聚类。

结合第一方面，本发明在第一方面的第二实施方式中，根据聚类结果计算所述聚类后的新闻热词的热度，包括：

获取对所述新闻热词进行聚类过程中生成的新闻聚类数；

在预设时间内计算所述新闻热词的新闻爆发度；

通过计算每一新闻热词聚类中，对应的新闻的平均发布时间和中位数时间点，对新闻做调权，以得到新闻聚类时的时间因子；

根据新闻聚类数、新闻爆发度和时间因子计算出新闻的热度。

结合第一方面，本发明在第一方面的第三实施方式中，在预设时间内计算所述新闻热词的新闻爆发度，包括：

计算所述新闻热词在第一时刻的新闻聚类数和所述新闻热词在第二时刻的新闻聚类数；

比较所述第一时刻的新闻聚类数和所述第二时刻的新闻聚类数；

若所述第二时刻的新闻聚类数大于所述第一时刻的新闻聚类数超过预设阈值，则根据所述第一时刻和和所述第二时刻的新闻聚类数计算所述新闻热词的新闻爆发度。

结合第一方面的第一种实施方式，通过相似度对每个所述新闻热词进行聚类之前，包括：