[发明专利]一种数据抓取方法、装置及介质

权利要求书

1.一种数据抓取方法，其特征在于，利用Python环境和selenium自动化测试工具，调用浏览器发起网页访问请求，模拟用户操作，打开页面，在页面中提取目标数据，得到网页渲染后的结果，获取返回页面中的数据。

2.根据权利要求1所述的一种数据抓取方法，其特征在于，selenium自动化测试工具包括SeleniumIDE和Selenium WebDriver；

所述Selenium IDE为嵌入到FireFox浏览器的插件，用于在Firefox上录制和回放Selenium脚本，将录制好的脚本转换成各种Selenium WebDriver支持的程序语言。

3.根据权利要求2所述的一种数据抓取方法，其特征在于，所述Selenium WebDriver用于操作浏览器的一套API，支持各类型浏览器，跨操作系统，WebDriver为诸多语言提供完备的，用于实现web自动化测试的第三方库。

4.根据权利要求3所述的一种数据抓取方法，其特征在于，在Python环境下使用Selenium自动化工具抓取数据的步骤：

S1、安装Python开发环境和selenium；

S2、在Python环境下，安装WebDriver浏览器驱动；

S3、使用代理Ip、端口、隐藏selenium配置项或控制事先打开的浏览器来解决反爬虫机制；

S4、模仿真实用户浏览网页；

S5、抓取有用数据存储到文档存储工具；

S6、重复执行步骤S4和步骤S5，直到目标数据采集完成。

5.根据权利要求4所述的一种数据抓取方法，其特征在于，在步骤S4中，根据具体的网页结构，利用WebDriver定位元素特性，模仿真实用户浏览网页，在两次点击按钮之间稍停顿几秒，编写完成数据抓取逻辑代码。

6.根据权利要求5所述的一种数据抓取方法，其特征在于，在步骤S4中，进一步的包括：

S4-1、从Selenium包导入WebDriver使用Selenium WebDriver的方法；

S4-2、使用Selenium包提供的接口去调用Selenium命令来跟浏览器交互；

S4-3、设置20-40秒隐式等待时间来定义Selenium执行步骤的超时时间；

S4-4、调用driver.get()方法访问该应用程序，方法调用后，WebDriver会等待，一直到页面加载完成才继续执行脚本；

S4-5、Selenium WebDriver来定位和操作元素；

S4-6、通过send_keys()方法输入新的特定值，调用submit()提交搜索请求；

S4-7、加载搜索结果页面，读取结果列表的内容并打印输出；通过find_elements_by_xpath获取路径满足class＝'c-abstract'的所有div标签，它将返回多于一个的元素列表；

S8、最后打印，获取到的标签的文本内容。

7.根据权利要求6所述的一种数据抓取方法，其特征在于，在步骤S4-7中，在脚本的最后，使用driver.quit()来关闭浏览器。

8.根据权利要求7所述的一种数据抓取方法，其特征在于，在步骤S5中，使用代码利用WebDriver组件启动浏览器，运行逻辑代码，将抓取到的有用数据存储到数据库、Excel或记事本。

9.一种数据抓取装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至8中任一所述的方法。

10.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至8任一所述的方法。