[发明专利]一种基于远程过程调用实现的分布式爬虫调度方法

权利要求书

1.一种基于远程过程调用实现的分布式爬虫调度方法，其特征在于，应用于基于Thrift通信框架的服务端，包括：

将爬虫种子以散列结构的形式存储在redis集群中；

向客户端提供所述爬虫种子的操作接口；

获取持有redis锁的客户端发送的对所述操作接口的调用请求；

根据所述调用请求，对目标爬虫种子执行相应的处理操作。

2.如权利要求1所述的方法，其特征在于，所述将爬虫种子以散列结构的形式存储在redis集群中，包括：

确定爬虫种子的标识信息组合，并生成所述标识信息组合的MD5值，其中所述标识信息组合包括：目标URL、业务组、采集任务ID；

将所述MD5值作为散列结构的key，以将所述爬虫种子存储在redis集群中。

3.如权利要求2所述的方法，其特征在于，所述将爬虫种子以散列结构的形式存储在redis集群中，包括：

将爬虫种子以散列结构的形式存储在redis集群中的种子队列，其中所述种子队列中的各个爬虫种子根据时间戳进行顺序排列。

4.如权利要求3所述的方法，其特征在于，所述种子队列与业务组一一对应，所述将爬虫种子以散列结构的形式存储在redis集群中的种子队列，包括：

根据爬虫种子所在的业务组，将该爬虫种子以散列结构的形式存储在redis集群中相应的种子队列。

5.如权利要求1所述的方法，其特征在于，所述向客户端提供所述爬虫种子的操作接口，包括：

向客户端提供所述爬虫种子的操作接口，所述操作接口包括以下任意一项或多项：添加接口、更新接口、删除接口、调度接口。

6.如权利要求5所述的方法，其特征在于，若所述操作接口为更新接口，所述根据所述调用请求，对目标爬虫种子执行相应的处理操作，包括：

根据所述调用请求，对目标爬虫种子中相应的配置项执行更新操作，其中所述配置项包括以下任意一项或多项：目标URL、采集深度、采集广度、采集优先级、采集任务ID、业务组、采集时间。

7.一种基于远程过程调用实现的分布式爬虫调度装置，其特征在于，应用于基于Thrift通信框架的服务端，包括：

存储模块：用于将爬虫种子以散列结构的形式存储在redis集群中；

接口提供模块：用于向客户端提供所述爬虫种子的操作接口；

请求获取模块：用于获取持有redis锁的客户端发送的对所述操作接口的调用请求；

操作模块：用于根据所述调用请求，对目标爬虫种子执行相应的处理操作。

8.一种基于远程过程调用实现的分布式爬虫调度服务端，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-6任意一项所述的一种基于远程过程调用实现的分布式爬虫调度方法的步骤。

9.一种基于远程过程调用实现的分布式爬虫调度系统，其特征在于，包括：基于Thrift通信框架的服务端和客户端；

其中，所述服务端用于将爬虫种子以散列结构的形式存储在redis集群中，并向所述客户端提供所述爬虫种子的操作接口；还用于获取持有redis锁的客户端发送的对所述操作接口的调用请求，并根据所述调用请求对目标爬虫种子执行相应的处理操作。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-6任意一项所述的一种基于远程过程调用实现的分布式爬虫调度方法的步骤。