[发明专利]网页数据的爬取方法、装置、计算机设备和存储介质

说明书

本申请涉及一种网页数据的爬取方法、装置、计算机设备和存储介质。所述方法包括：执行预下发的数据爬取任务；所述数据爬取任务用于指示所述爬取服务器调用对应的目标爬虫程序对待爬取网页进行数据爬取操作；当检测到所述待爬取网页需要进行验证时，触发所述待爬取网页的网页服务器向用户终端发送验证码，以使所述用户终端接收所述验证码并上传所述验证码至后台服务器进行储存：根据所述用户终端的终端标识，在所述后台服务器储存的多个所述验证码中，确定目标验证码；发送所述目标验证码至所述网页服务器中进行验证。本方法涉及通用网络爬虫领域，采用本方案能够提高现有的爬虫程序执行爬虫任务时的运行效率。

技术领域

本申请涉及数据分析技术领域，特别是涉及一种网页数据的爬取方法、装置、计算机设备和存储介质。

背景技术

随着互联网的发展，我们登录网站、APP常常需要进行手机验证码OTP(One TimePassword)的验证，从而使登录网站、APP确认个人身份，为用户注册、登录、线上付出等行为减少网络危害，保护用户的个人信息。

当开发人员或者测试人员在使用爬虫程序用于对目标网站的数据爬取、模拟登录、模拟申请等自动操作过程中，目标网站为确定用户真实身份，往往会要求进行短信验证码填写并验证。这也使开发人员或者测试人员需要通过手机查看到针对目标网站的短信验证码并手动写入爬虫程序，当爬虫程序得到开发人员或者测试人员写入的短信验证码后，使用该短信验证码进行短信验证。

可以看出，现有的爬虫程序执行爬虫任务时的运行效率不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高现有的爬虫程序执行爬虫任务时的运行效率的网页数据的爬取方法、装置、计算机设备和存储介质。

一种网页数据的爬取方法，应用于爬取服务器，所述方法包括：

执行预下发的数据爬取任务；所述数据爬取任务用于指示所述爬取服务器调用对应的目标爬虫程序对待爬取网页进行数据爬取操作；

当检测到所述待爬取网页需要进行验证时，触发所述待爬取网页的网页服务器向用户终端发送验证码，以使所述用户终端接收所述验证码并上传所述验证码至后台服务器进行储存：

根据所述用户终端的终端标识，在所述后台服务器储存的多个所述验证码中，确定目标验证码；

发送所述目标验证码至所述网页服务器中进行验证，以使所述爬取服务器在通过验证后执行所述数据爬取操作。

一种网页数据的爬取方法，应用于终端，所述方法包括：

获取验证码；所述验证码为爬取服务器在执行预下发的数据爬取任务时，触发待爬取网页的网页服务器向用户终端发送的；所述数据爬取任务用于指示所述爬取服务器调用对应的目标爬虫程序对所述待爬取网页进行数据爬取操作；

上传所述验证码至后台服务器进行储存，以使所述爬取服务器根据所述终端的终端标识，在所述后台服务器储存的多个所述验证码中，确定目标验证码，并发送所述目标验证码至所述网页服务器中进行验证，以使所述爬取服务器在通过验证后执行所述数据爬取操作。

一种网页数据的爬取装置，应用于爬取服务器，所述装置包括：

执行模块，用于执行预下发的数据爬取任务；所述数据爬取任务用于指示所述爬取服务器调用对应的目标爬虫程序对待爬取网页进行数据爬取操作；

触发模块，用于当检测到所述待爬取网页需要进行验证时，触发所述待爬取网页的网页服务器向用户终端发送验证码，以使所述用户终端接收所述验证码并上传所述验证码至后台服务器进行储存：

确定模块，用于根据所述用户终端的终端标识，在所述后台服务器储存的多个所述验证码中，确定目标验证码；