[发明专利]一种网络爬虫程序的管理方法及装置在审
| 申请号： | 201711219894.3 | 申请日： | 2017-11-28 |
| 公开（公告）号： | CN107832136A | 公开（公告）日： | 2018-03-23 |
| 发明（设计）人： | 国兴旺 | 申请（专利权）人： | 广州启生信息技术有限公司 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48 |
| 代理公司： | 广州三环专利商标代理有限公司44202 | 代理人： | 宋静娜,郝传鑫 |
| 地址： | 510000 广东省广州*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网络爬虫程序的管理方法及装置，涉及互联网大数据领域。包括Director进程对通过Web页面递交的作业进行任务参数设置后，将所述作业作为第一任务添加到Redis并行作业组；当所述Redis并行作业组上当前一个任务完成时，PWatcher从所述Redis并行作业组中选择所述第一任务进行爬取，在爬取完获取到第一爬取结果后，若确定所述第一任务存在合并作业，则将所述第一任务发送至合并任务队列并向PMerger发送响应；PMerger收到所述响应后，将所述第一爬取结果加载到内存中，通过doMerge对所述第一任务进行数据计算处理。 | ||
| 搜索关键词： | 一种 网络 爬虫 程序 管理 方法 装置 | ||
【主权项】：
一种网络爬虫程序的管理方法，其特征在于，包括：Director进程对通过Web页面递交的作业进行任务参数设置后，将所述作业作为第一任务添加到Redis并行作业组；当所述Redis并行作业组上当前一个任务完成时，PWatcher从所述Redis并行作业组中选择所述第一任务进行爬取，在爬取完获取到第一爬取结果后，若确定所述第一任务存在合并作业，则将所述第一任务发送至合并任务队列并向PMerger发送响应；PMerger收到所述响应后，将所述第一爬取结果加载到内存中，通过doMerge对所述第一任务进行数据计算处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州启生信息技术有限公司，未经广州启生信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711219894.3/，转载请声明来源钻瓜专利网。
