[发明专利]一种大规模网络爬虫程序的访问方法及装置在审
| 申请号： | 201711221174.0 | 申请日： | 2017-11-28 |
| 公开（公告）号： | CN107958052A | 公开（公告）日： | 2018-04-24 |
| 发明（设计）人： | 国兴旺 | 申请（专利权）人： | 广州启生信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;H04L29/12 |
| 代理公司： | 广州三环专利商标代理有限公司44202 | 代理人： | 宋静娜,郝传鑫 |
| 地址： | 510000 广东省广州*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种大规模网络爬虫程序的访问方法及装置，涉及互联网大数据领域，包括通过分发调度层调度爬虫插件从网络端获取代理地址，将所述代理地址存储至数据表内；所述数据表包括数据类型和列名，且所述数据类型，所述列名分别与获取所述代理地址的网络端对应；通过所述数据表内包括的所述代理地址依此访问设定的网页，若成功访问则确定所述代理地址为第一代理地址，并在所述数据表内进行标记；按照设定的时间将所述第一代理地址加载到缓存队列中；所述爬虫插件通过轮循所述第一代理地址，访问数据源。 | ||
| 搜索关键词： | 一种 大规模 网络 爬虫 程序 访问 方法 装置 | ||
【主权项】：
一种大规模网络爬虫程序的访问方法，其特征在于，包括：通过分发调度层调度爬虫插件从网络端获取代理地址，将所述代理地址存储至数据表内；所述数据表包括数据类型和列名，且所述数据类型，所述列名分别与获取所述代理地址的网络端对应；通过所述数据表内包括的所述代理地址依此访问设定的网页，若成功访问则确定所述代理地址为第一代理地址，并在所述数据表内进行标记；按照设定的时间将所述第一代理地址加载到缓存队列中；所述爬虫插件通过轮循所述第一代理地址，访问数据源。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州启生信息技术有限公司，未经广州启生信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711221174.0/，转载请声明来源钻瓜专利网。
