[发明专利]网页爬取任务调度方法与任务调度器有效
| 申请号： | 201310474045.8 | 申请日： | 2013-10-11 |
| 公开（公告）号： | CN103559083B | 公开（公告）日： | 2017-05-10 |
| 发明（设计）人： | 徐锐波;付赟 | 申请（专利权）人： | 北京奇虎科技有限公司;奇智软件（北京）有限公司 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48;G06F17/30 |
| 代理公司： | 北京润泽恒知识产权代理有限公司11319 | 代理人： | 兰淑铎 |
| 地址： | 100088 北京市西城区新*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种网页爬取任务调度方法与任务调度器，其中，网页爬取任务调度方法包括确定各个数据中心的网络爬虫的当前任务积压状态；若当前数据中心的任务积压状态为少量任务积压，则调整当前数据中心中的网络爬虫的抓取进程数量，并继续向当前数据中心调度后续网页爬取任务；若当前数据中心的任务积压状态为大量任务积压、且存在任务积压状态为少量任务积压或无积压的其它数据中心，则将调度给当前数据中心的后续网页爬取任务调度给任务积压状态为少量任务积压的其它数据中心；若所有数据中心的任务积压状态均为大量任务积压，则延迟设定时间后再进行后续网页爬取任务调度。通过本发明，提高了蜘蛛抓取效率。 | ||
| 搜索关键词： | 网页 任务 调度 方法 | ||
【主权项】：
一种网页爬取任务调度方法，包括：确定各个数据中心的网络爬虫的当前任务积压状态；若当前数据中心的所述任务积压状态为少量任务积压，则调整所述当前数据中心中的网络爬虫的抓取进程数量，并继续向所述当前数据中心调度后续网页爬取任务；若当前数据中心的所述任务积压状态为大量任务积压、且存在所述任务积压状态为少量任务积压或无积压的其它数据中心，则将调度给所述当前数据中心的后续网页爬取任务调度给所述任务积压状态为少量任务积压的其它数据中心；若所有数据中心的所述任务积压状态均为大量任务积压，则延迟设定时间后再进行后续网页爬取任务调度；若当前数据中心的任务积压状态为无积压，则直接继续向当前数据中心调度后续网页爬取任务；所述方法，还包括：记录抓取网页耗时；收集各数据中心对各网站的抓取耗时数据；计算各数据中心对各网站的网页爬取权限；根据网页爬取权限，重新分配任务在各数据中心的比例。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件（北京）有限公司，未经北京奇虎科技有限公司;奇智软件（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310474045.8/，转载请声明来源钻瓜专利网。
- 上一篇：一种节能数据中心的虚拟机迁移方法
- 下一篇：多功能装饰瓶
