[发明专利]一种数据抓取方法、装置及介质

说明书

本发明涉及爬虫技术领域，具体提供了一种数据抓取方法，利用Python环境和selenium自动化测试工具，调用浏览器发起网页访问请求，模拟用户操作，打开页面，在页面中提取目标数据，得到网页渲染后的结果，获取返回页面中的数据。与现有技术相比，本发明的在面对反爬虫机制时，通过一系列操作，能够有效避免反爬虫机制，大大提高了数据采集的门槛。

技术领域

本发明涉及爬虫技术领域，具体提供一种数据抓取方法、装置及介质。

背景技术

网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。爬虫的工作流程较为复杂，从一个或若干初始网页的URL开始，根据一定的网页分析算法过滤与主题无关的链接，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

现有的网络爬虫在模拟请求的时候需要把所有的通信流程都分析完成后才能通过请求，然后返回响应结果，中间的通信流程比较复杂。有的网络需要发送大量ajax请求，异步获取数据渲染到页面上，网络爬虫无法对异步请求及时的响应和处理。而且有的网站加入了反爬虫机制，普通的网络爬虫不太适用。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的数据抓取方法。

本发明进一步的技术任务是提供一种设计合理，安全适用的数据抓取装置。

本发明进一步的技术任务是提供一种计算机可读介质。

本发明解决其技术问题所采用的技术方案是：

一种数据抓取方法，利用Python环境和selenium自动化测试工具，调用浏览器发起网页访问请求，模拟用户操作，打开页面，在页面中提取目标数据，得到网页渲染后的结果，获取返回页面中的数据。

进一步的，selenium自动化测试工具包括Selenium IDE和Selenium WebDriver；

所述Selenium IDE为嵌入到FireFox浏览器的插件，用于在Firefox上录制和回放Selenium脚本，将录制好的脚本转换成各种Selenium WebDriver支持的程序语言。

进一步的，所述Selenium WebDriver用于操作浏览器的一套API，支持各类型浏览器，跨操作系统，WebDriver为诸多语言提供完备的，用于实现web自动化测试的第三方库。

进一步的，在Python环境下使用Selenium自动化工具抓取数据的步骤：

S1、安装Python开发环境和selenium；

S2、在Python环境下，安装WebDriver浏览器驱动；

S3、使用代理Ip、端口、隐藏selenium配置项或控制事先打开的浏览器来解决反爬虫机制；

S4、模仿真实用户浏览网页；

S5、抓取有用数据存储到文档存储工具；

S6、重复执行步骤S4和步骤S5，直到目标数据采集完成。

进一步的，在步骤S4中，根据具体的网页结构，利用WebDriver定位元素特性，模仿真实用户浏览网页，在两次点击按钮之间稍停顿几秒，编写完成数据抓取逻辑代码。

进一步的，在步骤S4中，进一步的包括：

S4-1、从Selenium包导入WebDriver使用Selenium WebDriver的方法；

S4-2、使用Selenium包提供的接口去调用Selenium命令来跟浏览器交互；