[发明专利]网页爬取方法和装置有效
| 申请号： | 201510729544.6 | 申请日： | 2015-10-30 |
| 公开（公告）号： | CN106649362B | 公开（公告）日： | 2020-02-07 |
| 发明（设计）人： | 何熠皓 | 申请（专利权）人： | 北京国双科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 11240 北京康信知识产权代理有限责任公司 | 代理人： | 韩建伟;张永明 |
| 地址： | 100083 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种网页爬取方法和装置。其中，该方法包括：多台服务器分别从任务队列中获取关键词组，其中，任务队列中存储有多个待爬取的关键词组，每个待爬取的关键词组包含多个关键词；以及多台服务器分别通过各自的网络爬虫爬取获取的关键词组中每个关键词对应的搜索引擎结果页。本申请解决了相关技术中通过单台服务器的网络爬虫爬取关键词搜索引擎结果页时效率较低的技术问题。 | ||
| 搜索关键词： | 网页 方法 装置 | ||
【主权项】：
1.一种网页爬取方法，其特征在于，包括：/n多台服务器分别从任务队列中获取关键词组，其中，所述任务队列中存储有多个待爬取的关键词组，每个待爬取的关键词组包含多个关键词；以及/n所述多台服务器分别通过各自的网络爬虫爬取获取的关键词组中每个关键词对应的搜索引擎结果页；/n所述多台服务器包括第一服务器，多台服务器分别从任务队列中获取关键词组包括所述第一服务器从所述任务队列中获取关键词组，所述第一服务器从所述任务队列中获取关键词组包括：所述第一服务器检测所述任务队列中是否存在待爬取的关键词组；所述第一服务器在检测出所述任务队列中存在待爬取的关键词组时，锁定所述任务队列，其中，锁定的所述任务队列仅能够被所述第一服务器读取；以及所述第一服务器从锁定的所述任务队列中获取所述关键词组，并释放所述任务队列，其中，释放后的所述任务队列能够被所述多台服务器中任意一台服务器读取。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司，未经北京国双科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510729544.6/，转载请声明来源钻瓜专利网。
- 上一篇：竹质沙发床
- 下一篇：椅子（2016‑11）
