[发明专利]一种基于协作式爬虫的抓取网页数据的控制方法及系统

说明书

技术领域

本发明涉及计算机和通信技术领域，尤其涉及一种基于协作式爬虫的抓取网页数据的控制方法及系统。

背景技术

随着互联网的广泛应用，海量的信息呈指数式爆炸增长，如果要想从网络中得到所需要的数据，就需要通过网络爬虫来访问这些网页信息并采集想要的数据。网络爬虫在遍历一个网站时，通常有深度优先和广度优先两种方法。不管是深度优先，还是广度优先，它们都是层级顺序执行的，当面对层次结构较深，详情页面比较多的网站，比如百度贴吧(有很多的分类，每一个分类又有很多的子分类，子分类又有很多个贴吧，每个贴吧又有很多的帖子)时，普通的爬虫要想遍历全部信息需要非常多的时间，而对于舆情监测来说，花费过多的时间肯定是不能满足需求的。

通常的网络爬虫抓取一个网站的基本工作流程如下：

步骤110、网络爬虫获得一个网站的采集入口，通常是首页；

步骤120、网络爬虫获取到这个页面详细信息，通过解析这个页面得到该页面包含的URL(统一资源定位器，其是WWW页的地址),把通过此页面获得的所有URL保存起来，放到待解析任务队列中；

步骤130、网络爬虫逐一获取保存在待解析任务队列中的页面，如果该页面是列表页，则获取该列表页中URL放到待解析任务队列中；如果是详情页，获取详情页信息并终止访问。

重复步骤130的操作，直到遍历完所有的页面。

由此可见，传统爬虫采集信息时都是先登录网站首页，然后一级一级遍历整个网站，而且是顺序进行的。对于网站结构比较简单，详情页数量比较少时，上述方法还是可行的。但是对于百度贴吧这种层级非常深，内容非常多的网站，全部遍历一遍可能需要一天时间，舆情信息采集具有实时性强的特点，这么长的时间间隔是进行舆情信息采集所无法接受的。

因此，如何提供一种新的抓取网页数据的控制的技术方案，就成为了当前需要解决的问题。

发明内容

本发明所要解决的技术问题在于提供一种基于协作式爬虫的抓取网页数据的控制方法及系统，以解决从网页层次结构较深或详情页面较多的网站抓取数据花费时间过多，抓取效率低的问题。

为了解决上述问题，本发明提供了一种基于协作式爬虫的抓取网页数据的控制方法，包括：

将抓取网页数据的过程分解为第一阶段和第二阶段；

网络爬虫通过列表页配置文件只获取页面的URL路径信息，完成第一阶段的流程；

在完成第一阶段流程后，网络爬虫通过详情页配置文件，根据获取的各页面的URL路径信息，进一步获取各页面的详情数据，并对详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中，以完成第二阶段的流程；其中，在第二阶段中多个网络爬虫通过详情页配置文件获取各页面的详情数据的策略包括从详情待解析URL队列信息中得到首个URL路径信息后，便从详情待解析URL队列信息中去除该URL路径信息。

进一步地，上述方法还可包括：所述网络爬虫通过列表页配置文件只获取页面的URL路径信息的步骤，包括：

模拟用户对网页的访问操作发送网页访问请求后，通过一网络爬虫根据网页访问请求来获取列表页配置文件；

所述一网络爬虫根据获取的列表页配置文件获取网站的入口，通常是首页URL路径信息；

所述一网络爬虫下载并解析该页面，获取该页面内所有URL路径信息，并在待解析任务队列信息中保存，所述一网络爬虫逐一获取保存在待解析任务队列信息中的页面，直至所述一网络爬虫已遍历到所有最后一级列表页，并将所有URL路径信息存储到详情待解析URL队列信息中停止。

进一步地，上述方法还可包括：所述网络爬虫通过详情页配置文件，根据获取的各页面的URL路径信息，进一步获取各页面的详情数据，并对详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中的步骤，包括：

多个网络爬虫依次请求获取详情页配置文件后，各网络爬虫根据获取的详情页配置文件获取网页的入口，即详情待解析URL队列信息中的首个URL路径信息，获取该URL路径信息后，则从详情待解析URL队列信息中去除该URL路径信息，始终保持详情待解析URL队列信息中首个URL路径信息是未被处理过的新URL路径信息；

各网络爬虫下载并解析该页面，对该页面的所有详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中。

进一步地，上述方法还可包括：所述模拟用户对网页的访问操作发送网页访问请求为通过浏览器模式发送网页访问请求。