[发明专利]一种基于协作式爬虫的抓取网页数据的控制方法及系统

权利要求书

1.一种基于协作式爬虫的抓取网页数据的控制方法，包括：

将抓取网页数据的过程分解为第一阶段和第二阶段；

网络爬虫通过列表页配置文件只获取页面的URL路径信息，完成第一阶段的流程；

在完成第一阶段流程后，网络爬虫通过详情页配置文件，根据获取的各页面的URL路径信息，进一步获取各页面的详情数据，并对详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中，以完成第二阶段的流程；其中，在第二阶段中多个网络爬虫通过详情页配置文件获取各页面的详情数据的策略包括从详情待解析URL队列信息中得到首个URL路径信息后，便从详情待解析URL队列信息中去除该URL路径信息。

2.如权利要求1所述的方法，其特征在于，

所述网络爬虫通过列表页配置文件只获取页面的URL路径信息的步骤，包括：

模拟用户对网页的访问操作发送网页访问请求后，通过一网络爬虫根据网页访问请求来获取列表页配置文件；

所述一网络爬虫根据获取的列表页配置文件获取网站的入口，通常是首页URL路径信息；

所述一网络爬虫下载并解析该页面，获取该页面内所有URL路径信息，并在待解析任务队列信息中保存，所述一网络爬虫逐一获取保存在待解析任务队列信息中的页面，直至所述一网络爬虫已遍历到所有最后一级列表页，并将所有URL路径信息存储到详情待解析URL队列信息中停止。

3.如权利要求2所述的方法，其特征在于，

所述网络爬虫通过详情页配置文件，根据获取的各页面的URL路径信息，进一步获取各页面的详情数据，并对详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中的步骤，包括：

多个网络爬虫依次请求获取详情页配置文件后，各网络爬虫根据获取的详情页配置文件获取网页的入口，即详情待解析URL队列信息中的首个URL路径信息，获取该URL路径信息后，则从详情待解析URL队列信息中去除该URL路径信息，始终保持详情待解析URL队列信息中首个URL路径信息是未被处理过的新URL路径信息；

各网络爬虫下载并解析该页面，对该页面的所有详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中。

4.如权利要求2所述的方法，其特征在于，

所述模拟用户对网页的访问操作发送网页访问请求为通过浏览器模式发送网页访问请求。

5.如权利要求1所述的方法，其特征在于，

进一步包括：所述将抓取网页数据的过程分解为第一阶段和第二阶段中，在第一阶段中是通过一个网络爬虫抓取网页的URL路径信息，在第二阶段中是通过多个网络爬虫协作抓取网页数据。

6.一种基于协作式爬虫的抓取网页数据的控制系统，其特征在于，包括：

网络爬虫和爬虫任务调度服务器，其中，

网络爬虫，用于通过列表页配置文件只获取页面的URL路径信息，完成第一阶段的流程；在完成第一阶段流程后，通过详情页配置文件，根据获取的各页面的URL路径信息，进一步获取各页面的详情数据，并对详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中，以完成第二阶段的流程；

爬虫任务调度服务器，用于向网络爬虫分配配置文件，在第一阶段分配列表页配置文件；在第二阶段中向多个网络爬虫分配详情页配置文件，每分配一个任务后，便将首个URL路径信息从详情待解析URL队列信息中去除。

7.如权利要求6所述的控制系统，其特征在于，

所述网络爬虫用于通过列表页配置文件只获取页面的URL路径信息，是指：

一个网络爬虫根据网页访问请求来获取列表页配置文件；

所述一个网络爬虫根据获取的列表页配置文件获取网站的入口，通常是首页URL路径信息；

所述一个网络爬虫下载并解析该页面，获取该页面内所有URL路径信息，并在待解析任务队列信息中保存，所述一个网络爬虫逐一获取保存在待解析任务队列信息中的页面，直至所述一个网络爬虫已遍历到所有最后一级列表页，并将所有URL路径信息存储到详情待解析URL队列信息中停止。

8.如权利要求7所述的控制系统，其特征在于，

所述网络爬虫通过详情页配置文件，根据获取的各页面的URL路径信息，进一步获取各页面的详情数据，并对详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中，是指：

多个网络爬虫依次请求获取详情页配置文件后，各网络爬虫根据获取的详情页配置文件获取网页的入口，即详情待解析URL队列信息中的首个URL路径信息，获取该URL路径信息后，则从详情待解析URL队列信息中去除该URL路径信息，始终保持详情待解析URL队列信息中首个URL路径信息是未被处理过的新URL路径信息；

各网络爬虫下载并解析该页面，对该页面的所有详情页进行关键内容的抓取，同时将获取的需要数据存储到数据库中。