[发明专利]一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法

说明书

本发明公开一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法，模型包括主控服务器以及至少一台热备主控服务器，主控服务器分别连接任务下发中心和爬虫采集服务集群，任务下发中心用于发布采集任务至当前主控服务器；主控服务用于采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息至热备主控服务器；热备主控服务器在主控服务宕机时接替主控服务器以负责采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息。本发明比起一般的分布式爬虫可以动态增减爬虫节点而不需要重启系统，同时每个爬虫节点互为热备，主控也有对应的热备服务，所以任何一个设备出现故障，对这个系统的稳定性没有影响。

技术领域

本发明涉及网络信息技术领域，尤其涉及一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法。

背景技术

目前市面上的网络爬虫主要分为两种：1.单机部署模式，这种也是最简单的网络爬虫模式，以单机的形式开启多个线程来模拟Http的请求以获取应答内容从而实现对网站内容的爬取，优点是部署简单，开发成本低，缺点也很明显，面对互联网海量的信息，爬取的性能就显得力不从心，单机的机制意味着爬虫的主要瓶颈在于网络的吞吐性能。2.分布式部署方案，也就是在单机模式的实现基础上由主控服务负责将要爬取的网站发送给各个爬虫节点，爬虫节点将爬取后的结果上报给主控服务，由主控服务负责持久化处理。这种模式弥补了单机模式的性能瓶颈。但是由于这种模式需要实现配置好一台的主控服务与N台爬虫节点，也就是说需要在部署的前期就要设计好网络拓扑和对服务器的规划。如果主控服务出现宕机，那么爬虫系统就会崩盘。如果是某台爬虫节点出现宕机，那就会使得后续原本应该交于该节点的任务就无法送达爬虫节点。

发明内容

本发明的目的在于提供一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法，通过一致性Hash算法来动态增减节点，以心跳来实现网络拓扑变化的实时变更。

本发明采用的技术方案是：

一种可扩展型分布式热拔插部署网络爬虫服务模型，其包括主控服务器以及至少一台热备主控服务器，主控服务器分别连接任务下发中心和爬虫采集服务集群，任务下发中心用于发布采集任务至当前主控服务器；主控服务用于采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息至热备主控服务器；热备主控服务器在主控服务宕机时接替主控服务器以负责采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息。

进一步地，作为一种较优实施方式，爬虫采集服务集群由若干爬虫节点组成。

进一步地，作为一种较优实施方式，爬虫节点与主控服务器之间通过心跳来交互信息，热备主控服务器与主控服务器之间通过心跳来交互信息。

进一步地，作为一种较优实施方式，增加或减少热备主控服务器时，热备主控服务器将发送心跳于主控服务，再由主控服务通过心跳Ack将热备信息发送给各个爬虫节点；同时由主控服务器将信息同步给热备主控服务器。

一种可扩展型分布式热拔插部署网络爬虫服务模型的控制方法，其包括以下步骤;

步骤1，任务下发中心下发采集任务至主控服务器，

步骤2，主控服务器根据采集任务需求确定任务负载，并将采集任务下发至爬虫采集服务集群中选定的爬虫节点；

步骤3，选定的爬虫节点接收并执行采集任务，同时返回接收任务响应至主控服务器；

步骤4，爬虫采集服务集群的所有爬虫节点周期性向主控服务器通知爬虫节点的存活信息；

步骤5，主控服务器更新对应爬虫节点的存活信息，并同步爬虫节点的存活消息至热备主控服务器的同时向对应的爬虫节点返回响应信息；

步骤6，对应的爬虫节点检查是否在指定时间内收到主控服务器的返回响应信息；是则，保持当前主控服务器不变；否则，判断当前主控服务器宕机同时将后续请求发送至热备主控服务器；