[发明专利]一种网络爬虫程序的管理方法及装置

权利要求书

1.一种网络爬虫程序的管理方法，其特征在于，包括：

Director进程对通过Web页面递交的作业进行任务参数设置后，将所述作业作为第一任务添加到Redis并行作业组；

当所述Redis并行作业组上当前一个任务完成时，PWatcher从所述Redis并行作业组中选择所述第一任务进行爬取，在爬取完获取到第一爬取结果后，若确定所述第一任务存在合并作业，则将所述第一任务发送至合并任务队列并向PMerger发送响应；

PMerger收到所述响应后，将所述第一爬取结果加载到内存中，通过doMerge对所述第一任务进行数据计算处理。

2.如权利要求1所述的方法，其特征在于，所述Redis并行作业组包括存储了已经递交的多个第一任务的ID的第一队列和所述第一任务正在进行爬取的第二队列；

所述PWatcher从所述Redis并行作业组中选择所述第一任务进行爬取时，具体包括：

所述PWacher按照设定时间检查所述第二队列的长度，若所述第二队列的长度为零，则所述PWatcher检查所述第一队列的队头的所述第一任务的任务参数队列的长度，若所述任务参数队列的长度非零，则所述PWatcher将所述第一队列的对头的待执行的任务参数队列名称修改为正在执行爬取的任务队列名称。

3.如权利要求1所述的方法，其特征在于，所述Director进程对通过Web页面递交的作业进行任务参数设置后，还包括：

对存在的结果进行任务排重；

所述将所述作业作为第一任务添加到Redis并行作业组，具体包括：

所述Director进程通过定制化的业务模块查询所述第一任务的任务排重结果，若查询结果非空，则所述第一任务不进行爬取且将所述查询结果存储至Redis的缓冲区；若查询结果为空，则将所述第一任务存储至Redis的缓冲区。

4.如权利要求1所述的方法，其特征在于，所述将所述作业作为第一任务添加到Redis并行作业组时，还包括：

若将所述作业作为第一任务时发生异常，则确认当前流程进入FAILED状态；

所述将所述作业作为第一任务添加到Redis并行作业组之后，还包括：

若收到取消命名时，则确认当前流程进入CANCELED状态。

5.如权利要求1所述的方法，其特征在于，所述PWatcher从所述Redis并行作业组中选择所述第一任务进行爬取之前，还包括：

若通过timeout方法确认所述第一任务与当前时间的差值大于超时阈值，则确认当前流程进入CANCELED状态。

6.一种网络爬虫程序的管理装置，其特征在于，包括：

添加单元，用于对通过Web页面递交的作业进行任务参数设置后，将所述作业作为第一任务添加到Redis并行作业组；

发送单元，用于当所述Redis并行作业组上当前一个任务完成时，PWatcher从所述Redis并行作业组中选择所述第一任务进行爬取，在爬取完获取到第一爬取结果后，若确定所述第一任务存在合并作业，则将所述第一任务发送至合并任务队列并向PMerger发送响应；

计算单元，用于收到所述响应后，将所述第一爬取结果加载到内存中，通过doMerge对所述第一任务进行数据计算处理。

7.如权利要求6所述的装置，其特征在于，所述Redis并行作业组包括存储了已经递交的多个第一任务的ID的第一队列和所述第一任务正在进行爬取的第二队列；

所述发送单元具体用于：

所述PWacher按照设定时间检查所述第二队列的长度，若所述第二队列的长度为零，则所述PWatcher检查所述第一队列的队头的所述第一任务的任务参数队列的长度，若所述任务参数队列的长度非零，则所述PWatcher将所述第一队列的对头的待执行的任务参数队列名称修改为正在执行爬取的任务队列名称。

8.如权利要求6所述的装置，其特征在于，所述添加单元还用于：

对存在的结果进行任务排重；

所述添加单元具体用于：

所述Director进程通过定制化的业务模块查询所述第一任务的任务排重结果，若查询结果非空，则所述第一任务不进行爬取且将所述查询结果存储至Redis的缓冲区；若查询结果为空，则将所述第一任务存储至Redis的缓冲区。