[发明专利]一种负载均衡分布式的爬虫方法、爬虫系统

说明书

本发明公开了一种负载均衡分布式的爬虫方法、爬虫系统，包括主服务器和多个与主服务器互通的爬虫服务器，每个所述爬虫服务器的下游设置多个爬虫采集节点，包括系统分布式爬虫负载均衡过程：所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务，请求页面任务和分析页面任务之间循环交替进行。对各个所述爬虫采集节点的节点状态信息进行监控和分析，从而所述主服务器可及时对所述爬虫采集节点进行调配，避免出现部分爬虫采集节点处于空载状态，提高爬虫采集节点的整体利用率，减少资源浪费。

技术领域

本发明涉及网络搜索领域，尤其涉及一种负载均衡分布式的爬虫方法、爬虫系统。

背景技术

目前的分布式爬虫中各个节点都只是负责单一的任务。当某一个单一任务需要等待另一个任务完成的时候，负责处理这个单一任务的节点就可能出现空闲情况，造成大量的资源浪费，搜索速度降低。因此，必须想出一种方法解决这种资源浪费的瓶颈情况，让分布式集群机器都处于一个合理利用资源的环境，让各个机器节点都能各司其职。

发明内容

本发明的目的在于提出一种可及时对所述爬虫采集节点进行调配，避免出现部分爬虫采集节点处于空载状态，提高爬虫采集节点的整体利用率，减少资源浪费的负载均衡分布式的爬虫方法、爬虫系统。

为达此目的，本发明采用以下技术方案：

一种负载均衡分布式的爬虫方法，包括主服务器和多个与主服务器互通的爬虫服务器，每个所述爬虫服务器的下游设置多个爬虫采集节点，包括系统分布式爬虫负载均衡过程：

步骤A：所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务，请求页面任务和分析页面任务之间循环交替进行；

步骤B：所述主服务器把请求页面任务和分析页面任务分发给不同的所述爬虫服务器，所述爬虫服务器再把自身接收到的任务分派给各个所述爬虫采集节点并对各个所述爬虫采集节点的节点状态信息进行监控；

步骤C：所述爬虫服务器收集并反馈各个所述爬虫采集节点的节点状态信息到所述主服务器；

步骤D：所述主服务器接收并分析所述爬虫服务器反馈的节点状态信息；若分析到所述爬虫采集节点的节点状态信息为空载状态，则所述主服务器调度任务给该爬虫采集节点。

优选地，所述步骤B中的爬虫服务器监控方法包括：

首先，各个所述爬虫采集节点执行被分派的任务，并发送自身的节点状态信息到对应的所述爬虫服务器；

然后，所述爬虫服务器对接收到的所述节点状态信息进行整理，并将整理后的所述节点状态信息实时发送至所述主服务器。

优选地，所述步骤D中所述主服务器分析调度方法包括：

首先，所述主服务器对接收到的多个所述节点状态信息进行整理；

然后，所述主服务器通过整理后的所述节点状态信息分析对应的爬虫采集节点是否处于空闲状态：

若不是则分析下一个所述节点状态信息；

若是则进一步分析所述爬虫采集节点原先负责的任务是请求页面任务还是分析页面任务：

若所述爬虫采集节点原先负责请求页面任务，则分配分析页面任务给所述爬虫采集节点；

若所述爬虫采集节点原先负责分析页面任务，则分配请求页面任务给所述爬虫采集节点。

优选地，还包括控制爬虫采集节点数量过程：

首先，所述主服务器对爬虫任务的分配情况进行检测；

若检测到所有爬虫任务均被分配，则进一步分析各个爬虫采集节点的节点状态信息：