[发明专利]一种基于多策略的微博信息优先采集方法

说明书

本发明涉及一种基于多策略的微博信息优先采集方法，在采集能力有限的情况下，通过构建多策略的优先采集方法，能够及时有效的获取到博主的信息。首先，通过构建分类模型对博主进行筛选，剔除掉垃圾博主，并根据微博数量和粉丝数量将剩余博主分为三大类。其次，针对不同类别，构建不同的采集策略。通过将大V博主的发博时间聚类，提取大V博主的最佳采集时间；通过博主的微博统计量，训练回归模型并预测博主的活跃度值，根据活跃度值将博主排序。最后，综合三大类的采集策略设计出了多策略的微博优先采集方法，并通过定期更新采集队列保持采集策略的时效性。实验表明本发明不仅可以及时有效的获取热点微博信息，且使得采集数量得到很大的提升。

技术领域

本发明属于文本信息处理领域，具体是设计一种基于多策略的微博信息优先采集方法。

背景技术

微博已经成为国内最重要的信息交流平台之一，国内外的日常新闻，明星的活动，生活中的令人感兴趣的事件都会成为人们讨论的话题，因此每天都会更新大量的与之相关的信息，这些通常被称为热点信息。通过分析微博的热点信息，可以有效的获取网民的关注热点。网络爬虫可以有效的对微博博主的页面信息进行采集，从而及时的获取热点信息。但随着微博博主的巨增，而采集能力又有限的情况下，难以做到实时微博信息采集，因此需要设计合理的优先采集次序来对微博进行采集。通常的采集器效率低主要有以下几个方面的原因：

首先，没有考虑微博大V博主的发表博文时间段和信息采集时间段的时序关系，导致热点信息没有被及时的采集。

其次，部分博主通常发博数量少且内容通常是个人的日常生活信息，不包括热点信息，没有影响力。

最后，微博博主中包括大量潜在的僵尸账号或营销账号，所发微博不仅信息量不足，而且微博数量还较多，这些都在采集的过程中浪费大量的时间，导致正常博主的热点信息不能被及时采集。

发明内容

为解决上述问题，本发明充分利用了博主个人信息、发博时间、发博内容特征，提出并实现了一种基于回归模型的微博信息优先采集策略。此方法可以在爬虫采集能力有限情况下，及时有效的获取博主所发微博。

本发明充分考虑到博主的微博影响力，活跃度，发博时间特征，首先通过对博主进行垃圾博主过滤，其次将博主分为三类，在采集能力有限的情况下，设计了一种基于回归的微博优先采集方法，完成了对不同类别的微博博主的顺序采集。

本发明根据博主的微博影响力，活跃度，发博时间特征将博主分为A、B、C三类，针对不同的博主类型设计不同的采集策略，其中：

A类博主，通常指大V博主(名人微博)，粉丝数量很多。虽然这类博主所发微博数量不多，但所发内容经转发、回复、点赞的人数很多，而且内容通常都是热点信息，且影响力巨大。采集器需要保证这类博主的采集优先级，及时获取博主所发微博内容。因此针对A类博主，采集器需要考虑发博时间和采集时间的间隙差，从而进一步的细化大V博主的微博优先采集顺序。

B类博主，通常指政务微博、社会组织微博、草根微博。这类博主发博数量很多，粉丝数量较多，所发微博内容也通常是对热点信息的点评和转发等。这类博主也是本发明关注的重点，通常较多的热点信息都来自该类博主，采集器需要尽可能多的采集该类博主所发的微博。

C类博主，通常指个人微博，特点是发博数量较少，粉丝数量少，这类博主的微博内容多为个人日常生活，虽然偶尔会评论热点事件。但所带来的转发和评论数量不多，影响力也一般。因此采集器只需定期采集该类博主即可。

为实现上述目的，本发明采用如下的技术方案：

一种基于多策略的微博信息优先采集方法，包括以下步骤：

步骤(1)垃圾博主检测

步骤(1.1)构建垃圾微博检测模型

步骤(1.1.1)构建训练数据集，具体如下：