[发明专利]一种基于网络爬虫和新浪API相结合的微博数据的采集方法

说明书

本发明公开了一种基于网络爬虫和新浪API相结合的微博数据的采集方法，基于新浪API从微博名人榜获取种子用户及其对应的粉丝用户和关注用户，加入到种子列表；将种子列表转换为种子URL，并判断种子用户列表是否为空，若为空则结束，否则遍历种子列表，采用网络爬虫的方法，爬取种子用户的相关微博信息、微博评论信息和用户个人信息，并将微博评论用户加入到种子列表中。与现有技术相比，本发明通过将新浪API和针对新浪微博平台的网络爬虫相结合，既可以获取格式比较规范的微博数据，又能进行大规模的数据爬取，并且爬取的数据格式更加规范，噪声数据比较少，进而能够为开展微博中社会安全事件的侦测提供重要的数据基础。

技术领域

本发明涉及微博数据采集技术领域，特别是一种基于网络爬虫和新浪API 相结合的微博数据的采集方法。

背景技术

对于微博中数据采集非常重要，这样也能为开展微博中社会安全 事件的侦测提供重要的数据基础。目前，微博的数据采集方式主要有 两种：基于新浪API和针对新浪微博平台的网络爬虫。基于新浪API 的方案可以获取格式比较规范的数据，但是其调用次数有一定的限制， 无法进行大规模的数据爬取，并且有些信息无法获取到；基于网络爬 虫的方法虽然可以获取大规模的数据，但是其页面的分析处理过程比 较复杂，并且其爬取的数据格式不规范，噪声数据比较多。

发明内容

本发明的目的是要解决现有技术中存在的不足，提供一种基于网络爬虫和 新浪API相结合的微博数据的采集方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于网络爬虫和新浪API相结合的微博数据的采集方法，包括以下步 骤：

Step1：基于新浪API从微博名人榜获取种子用户及其对应的粉丝用户和关 注用户，加入到种子列表；

Step2：将种子列表转换为种子URL，并判断种子用户列表是否为空，若为 空则进入Step4，否则进入Step3；

Step3：遍历种子列表，采用网络爬虫的方法，爬取种子用户的相关微博信 息、微博评论信息和用户个人信息，并将微博评论用户加入到种子列表中；

Step4：结束。

具体地，所述Step3包括：

获取种子列表中待爬取URL，并进行URL解析与信息获取，具体包括：获 取用户信息URL并进入相应页面爬取用户粉丝用户和关注用户以及爬取用户的 其他相关信息；获取用户微博URL并进入相应页面爬取微博转发点赞、评论用 户、爬取微博评论文本以及爬取微博其他相关信息；并将爬取的用户粉丝用户 和关注用户、用户的其他相关信息、微博转发点赞、评论用户、爬取微博评论 文本以及爬取微博其他相关构建相应的微博数据资源库；同时将爬取的用户粉 丝用户和关注用户、爬取的微博转发点赞、评论用户加入种子列表中。

与现有技术相比，本发明通过将新浪API和针对新浪微博平台的网络爬虫 相结合，既可以获取格式比较规范的微博数据，又能进行大规模的数据爬取， 并且爬取的数据格式更加规范，噪声数据比较少，进而能够为开展微博中社会 安全事件的侦测提供重要的数据基础。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步描述，在此发明的示意性实施例以 及说明用来解释本发明，但并不作为对本发明的限定。

如图1所示，本实施例的一种基于网络爬虫和新浪API相结合的微博数据 的采集方法，包括以下步骤：