[发明专利]一种基于分布式爬虫技术的数据爬取实现方法

说明书

本发明公开了一种基于分布式爬虫技术的数据爬取实现方法，涉及数据爬取技术领域，包括以下步骤：S1、指定URL，根据给定地址找到最终需要找到抓取数据的地址，并得到对应的指标代码；S2、发起请求，根据S1获取到的代码,拼接网址并判断是否为所需的抓取数据,如果为数据页,则回调到详情页,否则继续循环寻找数据网址；本发明采用聚焦抓取、scrappy,抓取过程中使用了正则,json数据,数据频度为年,月,季度等多个数据,增量更新,批量插入Oracle数据库，在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息，方便的检查一个字符串是否与某种模式匹配。

技术领域

本发明涉及数据爬取技术领域，具体为一种基于分布式爬虫技术的数据爬取实现方法。

背景技术

现有技术中常见的几种爬虫类型有：通用爬虫、聚焦爬虫和增量爬虫，常用几种数据解析方式有正则、Bs4、Xpath。

但是，通用爬虫只提供和文本相关的内容(HTML、Word、PDF)等等，但是不能提供多媒体文件(音乐、图片、视频)和二进制文件(程序、脚本)，提供的结果千篇一律，不能针对不同背景领域的人提供不同的搜索结果，不能理解人类语义上的检索，bs4只能解析html格式的数据，综上，本发明提供一种基于分布式爬虫技术的数据爬取实现方法来解决上述问题。

发明内容

针对现有技术的不足，本发明提供了一种基于分布式爬虫技术的数据爬取实现方法，解决了背景技术中提到的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于分布式爬虫技术的数据爬取实现方法，包括以下步骤：

S1、指定URL，根据给定地址找到最终需要找到抓取数据的地址，并得到对应的指标代码；

S2、发起请求，根据S1获取到的代码,拼接网址并判断是否为所需的抓取数据,如果为数据页,则回调到详情页,否则继续循环寻找数据网址；

S3、获取数据，网址中拼接相应参数,定时抽取数据,在网址中加入日期参数,分地区的数据中加入分地区参数,从start-urls中扣出对应的数据类型,判断走哪个抓取流程；

S4、解析数据，使用json.loads,将字符串转换为json格式数据,以循环的方式获取单位和地区,并以字典形式保存,解决数据与单位,地区不在一起,无法正常的问题；

S5、持久化存储，用scrapy框架抓取,需要在items.py中定义好需要使用到的字段和对应的类，Pipelines.py中实现数据持久化存储,根据不同item类, 存储不同的数据到对应的表中。

如上述的基于分布式爬虫技术的数据爬取实现方法，其中，优选的是，所述S1中，点击经邦网站中月度、季度和年度等选项,发现数据跟着变,在 networkpreview中发现,根据行业也代码，一级级迭代,isParent＝true说明页面加载的是指标代码,不是真正的数据,当isParent＝false时,为叶子节点，为每个行业最终数据，以上地址为一开始的地址,从此地址中得到对应的指标代码, 便于下一次数据抓取的网址拼接。

如上述的基于分布式爬虫技术的数据爬取实现方法，其中，优选的是，所述S3中，数据都是json格式,提取规则不完全一样,在一开始分别传入不同类型的数据网址,用正则扣出对应的抓取数据类型,走不同代码分支,同时事先将分地区的数据抓取下来,以字典的形式保存,并以参数的形式传入URL中，这样达到不同类型的数据抓取走不同的分支,相同部分不重复写。

如上述的基于分布式爬虫技术的数据爬取实现方法，其中，优选的是，所述S4中，在循环内,对每次获取到的数据,以元组的形式存放并追加到列表中, 达到循环外批量yield数据，有翻页时,如果不屏蔽重复,则下一页不能正常抓取,需要修改参数dont_filter＝True。