[发明专利]一种基于异步处理框架的具有自动测试功能的数据爬取方法

说明书

本发明属于网络爬虫技术领域，涉及一种基于异步处理框架的具有自动测试功能的数据爬取方法。本发明基于网络爬虫领域较成熟的网络爬虫框架，在面对网站设计之初加入各种反爬虫策略的网站爬取任务，尤其是通过脚本动态生成网站数据的任务，需要在蜘蛛的项目文件发出初始请求链接经过引擎和队列到达下载中间件时，引入自动测试技术，达到获取动态网页源代码的目的。该方法获取的网页响应结果是经过脚本渲染之后的，并且可以通过自动测试技术自定义控制浏览器完成一系列链操作的目的，进而节省了开发人员对目标网站的架构分析过程，降低了项目开发难度，更多时间可以被投入到网页解析上面，也提高了所爬取数据的质量，缩短了项目开发周期。

技术领域

本发明属于网络爬虫技术领域，涉及到一种基于异步处理框架的数据爬取方法，特别是一种基于异步处理框架的具有自动测试功能的数据爬取方法。

背景技术

随着大数据时代的来临，网络爬虫在互联网中的地位将越来越重要。互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。当下大数据分析、数据挖掘以及人工智能领域的自然语言处理等技术不断发展，这些技术得以飞速发展的前提就是要有数据，而且是高质量的数据。网络爬虫不仅仅解决了数据提取，更从无章可循的网页中提取出结构化数据，这些对上述技术的突破性进展起到了举足轻重的影响。

网络爬虫可以分为个人爬虫和企业爬虫，但无论是个体还是企业，网络爬虫是许多项目过程中不可或缺的一部分。随着网络爬虫应用的不断深入，便出现了一大批开源爬虫框架，比如：Pyspider框架、Scrapy框架，Scrapy框架是目前应用比较多且较成熟的框架。

随着网络爬虫技术的发展，为了提升爬虫程序的效率，实际开发中的爬虫程序往往是需要部署到服务器上的分布式爬虫，由于使用多个不同物理地址的计算机同时运行程序，使得程序运行过程中对请求队列的访问链接去重成为优先需要考虑的问题，而相较于传统的爬虫工具，现有的爬虫框架提供了调度器结构，可针对该问题予以解决；另一方面，各大数据源网站为了保护站点资源的私有性，便会在网站设计之初加入反爬虫策略，大多是通过javascript脚本动态生成网站的数据，服务器就会鉴别是否访问了资源这些脚本来断定是否为真实用户，这为现有爬虫框架提出了新的要求。

发明内容

本发明目的在于针对以上问题，提供一种基于异步处理框架的具有自动测试功能的数据爬取方法，该方法通过将Scrapy爬虫框架与Selenium自动测试技术相结合，成功解决了前端动态网页无法单纯通过爬虫框架得到响应结果的问题，进而可以对目标网页进行解析，以获取结构化的数据。

本发明的目的是通过以下技术方案实现的：

所述方法，包括以下步骤：

A、确定请求目标网站所需信息

包括目标网站请求链接、用户代理、请求方式和请求参数；

B、确定网页加载特性

查看网页源代码，确定源代码是否与当前网页所呈现内容一致；

C、确定爬取数据的代码段区域

定位网页需要爬取数据的位置以及各字段信息；

D、部署非结构化数据库信息

确定非结构化数据库地址、端口以及存放爬取数据的数据库名称；

E、配置Selenium自动测试工具

Selenium是一个用于测试网站应用程序的自动化测试工具，Selenium的测试可以直接在浏览器中运行，模仿用户对浏览器进行操作；

安装Selenium工具包和对应版本的浏览器驱动webdriver；

F、搭建基于Scrapy技术的爬虫框架