[发明专利]一种基于用户认证信息的网络爬虫方法

权利要求书

1.一种基于用户认证信息的网络爬虫方法，其特征在于：以用户在网站上的认证信息为基础，基于Python中HTTP客户端Requests库，针对服务器检测用户登录后Cookie类网站进行数据采集，并将采集到的数据提交到服务器上进行持久化存储，以满足后期对数据进行个性化和多次抽取，提高数据采集的效率和采集数据的复用率，从而降低数据采集的成本。

2.根据权利要求1所述的基于用户认证信息的网络爬虫方法，其特征在于，包括以下步骤：

第一步，用户认证信息获取

创建保存用户认证信息的Cookie数据库表，模拟用户登录网站获取相应的Cookie并保存到数据库；

第二步，采集任务获取与提交

从采集任务中获取需要采集的页面的连接，将采集到的数据提交到采集任务中；

第三步，采集引擎使用用户认证信息策略

从数据库中读取可用的用户认证信息到消息队列，检测用户认证信息在爬虫请求中的状态，定期检查失效的用户认证信息并从数据库中删除。

3.根据权利要求1所述的基于用户认证信息的网络爬虫方法，其特征在于：所述第一步中，在数据库中创建包括能代表用户认证信息的列C_KEY，存储认证信息的列C_DATA，存储获取认证信息的时间戳C_TIME，记录最近使用时间戳R_TIME字段，该字段初始化为0。

4.根据权利要求2或3所述的基于用户认证信息的网络爬虫方法，其特征在于：所述第一步中，通过Selenium和Chrome浏览器驱动调用Chrome浏览器打开目标网站的登录页面，模拟用户输入用户名和密码或者输入账号和接收到的验证码，登录成功后将登录产生的Cookie信息获取到并将该数据插入到数据数据表中，并将这条Cookie在数据表中的状态标记为可用，根据需求生成一批用户认证信息数据。

5.根据权利要求2所述的基于用户认证信息的网络爬虫方法，其特征在于：所述第二步中，向采集任务请求需要采集的连接，采集连接在任务中以消息队列的形式进行分发；在分发后半个小时如果接收不到对应的页面则将该连接标记为采集失败，重新加入到消息队列中；从采集任务中获取到的数据格式为JSON格式，数据中包含采集连接在全局中的唯一标识，该标记也是采集数据提交后校验的字段。

6.根据权利要求2或5所述的基于用户认证信息的网络爬虫方法，其特征在于：所述第二步中，在爬虫程序获取到页面数据后，将页面数据填充到前面请求到的对应数据中，并将该数据提交到对应的采集任务中；在采集任务中会校验采集页面URL，并将该URL标记为采集完成，该URL将不会再被加入到消息队列进行分发。

7.根据权利要求2所述的基于用户认证信息的网络爬虫方法，其特征在于：为了控制用户信息的使用频率，所述第三步中，使用消息队列分发用户认证信息时，确保每个用户认证信息同一时刻只能被一个线程或者是一个进程使用；

为了确保在预设的失效时间间隔内暂时失效后又重新生效的用户认证信息能够被优先使用，所述第三步中，用户认证信息按照最近使用时间R_TIME字段进行升序排列。

8.根据权利要求2所述的基于用户认证信息的网络爬虫方法，其特征在于：所述第三步中，当在爬虫采集到的数据为身份验证数据、空页面或者是故意混淆的错误数据时，说明当前使用的用户认证信息处于暂时失效状态，或者目标网站已经将该用户认证信息标记为限制访问；

将该用户认证信息在数据库中的R_TIME字段更新为当前时间，表示最近一次使用后失效的时间；在暂时失效时间达到预设的失效时间间隔后，该用户认证信息重新生效，继续被爬虫使用。

9.根据权利要求2或8所述的基于用户认证信息的网络爬虫方法，其特征在于：所述第三步中，根据预设的检查时间间隔，对数据库中的用户身份认证信息进行周期性检查；如果一条用户身份认证信息存在的时长超过规定的时间，表示该用户身份认证信息已经失效，可以将该用户身份认证信息从数据库中删除。