[发明专利]一种动态检测失效流量的网络爬虫方法

说明书

本发明涉及一种动态检测失效流量的网络爬虫方法，包括以下步骤，首先通过分析网络请求信息构建动态检测失效流量模型的数据集，然后设计出动态检测失效流量的方法，接着对URL队列中的信息进行读取并且对Cookie等信息进行封装后发送请求，提取返回数据信息，并对返回数据信息进行失效流量检测，最后对重复返回数据信息进行处理，如是有效数据则持久化存储。本发明弥补了现有聚焦爬虫和增量爬虫在Cookie失效问题的处理上和数据重复处理上的不足之处，降低了爬取数据的失效和重复概率，对爬虫系统的设计提供了可借鉴的方案，提高了爬虫系统的整体性能。

技术领域

本发明涉及网络爬虫技术领域，尤其涉及一种动态检测失效流量的网络爬虫方法。

背景技术

互联网中的数据是海量的，如何自动高效地获取互联网中感兴趣的信息并为我们所用是一个重要的问题，而网络爬虫技术就是为了解决这些问题而生的。网络爬虫具体可分为通用爬虫、增量爬虫和聚焦爬虫三大类。通用爬虫在搜索引擎上应用十分广泛，技术也相对比较成熟；增量爬虫的核心思想是去除重复的URL，但由于相同的URL爬取内容经常变化，其通用性较差，难以得到广泛应用；在大数据迅速发展的今天，聚焦爬虫因其具有一定的目的性，能够更好地满足爬取需求，为大数据分析提供可靠的数据支撑，已经得到了广泛的应用，爬取的数据在数据分析和深度学习等领域具有广泛的应用价值。

随着网络技术的不断发展，网络上产生的数据量爆炸式地增长，而各种组织和个人也越来越注重对数据的保护，网络爬虫的难度也逐渐增加。这往往体现在进行聚焦爬虫和增量爬虫时，同一客户端对同一服务器访问过高，造成服务器负担过重，服务器采用技术手段限制爬虫，导致爬虫系统的稳定性和爬取的数据量均受到影响。传统的爬虫方法无法动态检测失效流量并替换新的请求头，容易造成重复爬取和资源浪费等现象。

发明内容

本发明为克服上述的不足之处，目的在于提供一种动态检测失效流量的网络爬虫方法，本发明结合用户的基本信息，使用Python的Requests模块，采用BP神经网络方法对失效流量进行动态检测，通过哈希算法对返回内容进行摘要，用来判断是否为重复爬取，对于请求头中失效的Cookie，对其及时替换并重新访问，从而达到降低服务器负担和确保爬虫数据完整性的目的。

本发明是通过以下技术方案达到上述目的：一种动态检测失效流量的网络爬虫方法，包括如下步骤：

(1)获取目标应用的网络请求信息，通过代理的方式提取网络请求特征，构建动态检测失效流量模型的数据集；

(2)构建机器学习BP神经网络的分类模型，将步骤(1)中的部分数据集作为训练集，剩余部分作为测试集，得到动态检测失效流量的BP神经网络模型；

(3)分析网络请求，将请求相关的URL和Cookie数据持久化存储；

(4)对数据库中的请求URL和Cookie读取并加入各自的队列中，分别从队列中取出请求的相关URL和Cookie进行封装，发送请求；

(5)利用步骤(2)得到的动态检测失效流量模型，识别判断步骤(4)中请求的返回信息，对失效的流量信息则返回步骤(4)，将其URL重新加入步骤(4)的队列中等待重新封装；

(6)计算返回数据包中内容信息的哈希值并判断是否重复；

(7)对返回不重复的内容信息进行持久化存储。

作为优选，所述步骤(1)具体如下：

(1.1)选取聚焦爬虫的目标应用，通过分析软件设置代理软件的证书，配置代理接口，在目标应用的系统中安装证书；

(1.2)对网络爬虫的目标系统进行模拟点击事件，对获取的数据包分析并提取，构建一个可被BP神经网络接收的输入向量：