[发明专利]一种基于图片验证码识别的网络爬虫方法

权利要求书

1.一种基于图片验证码识别的网络爬虫方法，其特征在于，具体包括如下步骤：

步骤一、爬虫程序的预处理和构建，具体包括：

101、使用浏览器持续访问需要爬虫爬取的网页，一直到出现图片验证码；

102、获取图片验证码区域的xpath路径，计为路径1；

103、在图片验证码验证成功后，选择一处图片验证码验证成功后阶段网页有别于其它阶段网页的html元素的xpath路径，计为路径2；

104、继续使用浏览器访问网页，一直到出现IP被限制访问，然后，选择一处出现IP被限制访问阶段网页有别于其他网页的html元素的xpath路径，计为路径3；

所述爬虫程序的构建包括：

构造爬虫程序的输入文件，每行文件内容为json格式，包含proxy和url两个字符串节点；

使用Selenium，配合Chrome Driver和java语言环境api，通过浏览器内置的自动化支持操作浏览器；

步骤二、计算机加载爬虫程序，使用浏览器访问网页；

步骤三、在网络请求超时、代理IP被限制访问、出现图片验证码时，由爬虫程序进行不同处理，在访问到爬虫需要爬取的网页时，将网页的内容下载并保存，具体处理方式为：

a)将爬虫程序的输入文件加载到计算机的内存中；

b)当存在前一次程序运行产生的、包含被网站限制访问的IP的文件时，加载该文件内容到计算机内存列表1中；

c)取一行输入文件内容，得到代理IP；

d)判断代理IP是否存在于内存列表1中，如果是，到返回步骤c)，否则跳到步骤f)；

e)从与步骤c)同一行内容，获取请求url；

f)使用上一步获取到的url，发起网络请求；

g)判断网页加载时间是否超过设定的阈值，如果是，则到步骤h)，否则跳到步骤k)；

h)判断网页刷新次数是否超过阈值，如果是，则到步骤i)，否则跳到步骤j)；

i)记录步骤c)的文件行内容到文件1，然后返回步骤c)；

j)刷新网页内容，返回步骤g)；

k)利用所述路径3，判断代理IP是否被限制访问，如果是，则到步骤l)，否则跳到步骤m)；

l)记录被限制访问的代理IP到文件2，并将此代理IP加入内存列表1；

m)利用所述路径1，判断是否出现图片验证码，如果否，则到步骤n)，否则跳到步骤o)；

n)将网页内容写入文件3，然后返回步骤c)；

o)程序等待，由人工完成图片验证码；

p)判断图片验证码是否验证成功，如果是，则返回步骤n)，否则返回步骤o)。

2.如权利要求1所述的一种基于图片验证码识别的网络爬虫方法，其特征在于：所述步骤i）中,所述文件1在程序结束后，作为下一次程序开始时的输入文件。