[发明专利]网页数据的爬取方法、装置、计算机设备和存储介质

摘要

本申请涉及一种网页数据的爬取方法、装置、计算机设备和存储介质。所述方法包括：执行预下发的数据爬取任务；所述数据爬取任务用于指示所述爬取服务器调用对应的目标爬虫程序对待爬取网页进行数据爬取操作；当检测到所述待爬取网页需要进行验证时，触发所述待爬取网页的网页服务器向用户终端发送验证码，以使所述用户终端接收所述验证码并上传所述验证码至后台服务器进行储存：根据所述用户终端的终端标识，在所述后台服务器储存的多个所述验证码中，确定目标验证码；发送所述目标验证码至所述网页服务器中进行验证。本方法涉及通用网络爬虫领域，采用本方案能够提高现有的爬虫程序执行爬虫任务时的运行效率。