[发明专利]一种基于用户认证信息的网络爬虫方法

说明书

本发明特别涉及一种基于用户认证信息的网络爬虫方法。该基于用户认证信息的网络爬虫方法，以用户在网站上的认证信息为基础，基于Python中HTTP客户端Requests库，针对服务器检测用户登录后Cookie类网站进行数据采集，并将采集到的数据提交到服务器上进行持久化存储，以满足后期对数据进行个性化和多次抽取，提高数据采集的效率和采集数据的复用率，从而降低数据采集的成本。该基于用户认证信息的网络爬虫方法，不仅降低了采集校验用户认证信息一类网站数据的难度，省去了研究网站生成用户认证的过程，还显著缩短了开发采集这类网站数据爬虫程序的时间，降低了运维爬虫程序的人力成本，在兼顾速度的同时显著提升了数据采集的质量，能够确保采集数据不重不漏。

技术领域

本发明涉及网络爬虫技术领域，特别涉及一种基于用户认证信息的网络爬虫方法。

背景技术

网络爬虫是当今互联网使用非常广泛的技术之一，目前已经应用到了金融、房产、贸易和科技等诸多领域。而在数据时代，网络数据是很多创业型公司基础数据的重要来源，无论是大数据、数据分析还是机器学习，都离不开网络爬虫为其采集基础数据。因此，网络爬虫是很多企业业务展开的基础和主线，把爬虫采集到的数据进行抽取、清洗和处理，得到极有价值的数据。

随着近年来大数据和深度学习的火热，网络爬虫技术的发展也随之进入了高峰期，由此给被采集企业服务器带来了压力也成倍增长。但企业为了保证服务器的正常运转、或者为了降低服务器的运转压力与成本、又或者是防止宝贵的商业数据轻易的被爬虫爬取，不得不使用各种各样的技术手段来限制爬虫毫无节制地向服务器索取资源。虽然为了避开一些限制手段可以使用可视化工具进行数据采集，但在现有技术中可视化采集数据往往效率很低，耗时长、系统资源占用率高。很多时候网络爬虫能获取到的服务器资源有限，低效的网络爬虫将导致大量服务器资源浪费以及耗费更多的公司财力。

基于此，本发明提出了一种基于用户认证信息的网络爬虫方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于用户认证信息的网络爬虫方法。

本发明是通过如下技术方案实现的：

一种基于用户认证信息的网络爬虫方法，其特征在于：以用户在网站上的认证信息为基础，基于Python中HTTP客户端Requests库，针对服务器检测用户登录后Cookie类网站进行数据采集，并将采集到的数据提交到服务器上进行持久化存储，以满足后期对数据进行个性化和多次抽取，提高数据采集的效率和采集数据的复用率，从而降低数据采集的成本。

本发明基于用户认证信息的网络爬虫方法，，包括以下步骤：

第一步，用户认证信息获取

创建保存用户认证信息的Cookie数据库表，模拟用户登录网站获取相应的Cookie并保存到数据库；

第二步，采集任务获取与提交

从采集任务中获取需要采集的页面的连接，将采集到的数据提交到采集任务中；

第三步，采集引擎使用用户认证信息策略

从数据库中读取可用的用户认证信息到消息队列，检测用户认证信息在爬虫请求中的状态，定期检查失效的用户认证信息并从数据库中删除。

所述第一步中，在数据库中创建包括能代表用户认证信息的列C_KEY，存储认证信息的列C_DATA，存储获取认证信息的时间戳C_TIME，记录最近使用时间戳R_TIME字段，该字段初始化为0。

所述第一步中，通过Selenium和Chrome浏览器驱动调用Chrome浏览器打开目标网站的登录页面，模拟用户输入用户名和密码或者输入账号和接收到的验证码，登录成功后将登录产生的Cookie信息获取到并将该数据插入到数据数据表中，并将这条Cookie在数据表中的状态标记为可用，根据需求生成一批用户认证信息数据。