[发明专利]一种基于图片验证码识别的网络爬虫方法有效
申请号: | 201711415807.1 | 申请日: | 2017-12-25 |
公开(公告)号: | CN108062468B | 公开(公告)日: | 2021-08-24 |
发明(设计)人: | 闵信志;刘计争;高成俊 | 申请(专利权)人: | 南京烽火星空通信发展有限公司 |
主分类号: | G06F21/36 | 分类号: | G06F21/36;G06F16/951 |
代理公司: | 南京经纬专利商标代理有限公司 32200 | 代理人: | 杨海军 |
地址: | 210019 江苏省南京市建*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于图片验证码识别的网络爬虫方法,包括:爬虫程序的预处理和构建;计算机加载爬虫程序,使用浏览器访问网页;在网络请求超时、代理IP被限制访问、出现图片验证码时,由爬虫程序进行不同处理,在访问到爬虫需要爬取的网页时,将网页的内容下载并保存。本发明可以在被爬取的网站使用图片验证码限制网络爬虫爬取网站内容时,通过人工识别图片验证码,使得爬虫可以继续爬取网页。 | ||
搜索关键词: | 一种 基于 图片 验证 识别 网络 爬虫 方法 | ||
【主权项】:
1.一种基于图片验证码识别的网络爬虫方法,其特征在于,具体包括如下步骤:步骤一、爬虫程序的预处理和构建;步骤二、计算机加载爬虫程序,使用浏览器访问网页;步骤三、在网络请求超时、代理IP被限制访问、出现图片验证码时,由爬虫程序进行不同处理,在访问到爬虫需要爬取的网页时,将网页的内容下载并保存。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京烽火星空通信发展有限公司,未经南京烽火星空通信发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711415807.1/,转载请声明来源钻瓜专利网。