[发明专利]一种基于分布式爬虫的数据获取方法及其系统

说明书

本发明公开一种基于分布式爬虫的数据获取方法，包括以下步骤：根据不同网页的属性对网页进行划分；针对网页的划分，确定至少一个爬虫抓取参数；按照确定的爬虫抓取参数抓取当前网页信息，并对抓取的网页信息进行解析，得到解析数据；对获得的解析数据进行编译；对编译后的网页数据信息进行汇总，并反馈至数据保存模块；用汇总后的网页数据信息进行存储。本发明基于分布式爬虫的数据获取方法及其系统，通过对网页进行划分，并按照网页的划分确定爬虫抓取参数，通过爬虫抓取参数可抓取网页信息，且跳转连接可与其他网页进行连接，实现网页信息的快速抓取，保证在较短的时间内完成数据的采集，提高了采集的效率，满足时间的要求。

技术领域

本发明属于网络数据采集技术领域，涉及到一种基于分布式爬虫的数据获取方法及其系统。

背景技术

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，因此，网络爬虫应运而生，网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

在爬虫抓取大量网站数据中，通常每个网页的类型不同，造成网页抓取困难，且对于不同的网页需要设置不同爬虫抓取参数，造成抓取的速度慢，甚至陷入循环抓取的死循环，造成计算机的运行负荷，为了方便对网页进行快速抓取，提高爬虫抓取的效率，现设计一种基于分布式爬虫的数据获取方法及其系统。

发明内容

本发明的目的在于提供一种基于分布式爬虫的数据获取方法及其系统，通过对网页进行划分，并按照网页的划分确定爬虫抓取参数，通过爬虫抓取参数可抓取网页信息，且跳转连接可与其他网页进行连接，实现网页信息的快速抓取，解决了现有爬虫抓取的过程中，存在抓取效率低的问题。

本发明的目的可以通过以下技术方案实现：

一种基于分布式爬虫的数据获取方法，包括以下步骤：

S1、根据不同网页的属性对网页进行划分；

S2、针对网页的划分，确定至少一个爬虫抓取参数；

S3、按照确定的爬虫抓取参数抓取当前网页信息，并对抓取的网页信息进行解析，得到解析数据；

S4、对获得的解析数据进行编译，得到用户能够识别的网页数据信息；

S5、对编译后的网页数据信息进行汇总，并反馈至数据保存模块；

S6、用汇总后的网页数据信息进行存储。

一种基于分布式爬虫的数据获取系统，包括网页分类模块、策略抓取模块、解析模块、编译模块、数据反馈模块和数据保存模块；

所述网页分类模块用于对不同网页的属性进行划分，将相同属性的网页划分为同一类；

所述策略抓取模块根据网页的不同划分，确定至少一个爬虫抓取参数；

所述解析模块按照爬虫抓取参数从当前的网页上抓取网页信息，并对抓取的网页信息进行解析，得到解析数据；

所述编译模块用于将解析模块根据不同解析规则而获得的解析数据进行编译，得到用户可识别的网页数据信息，并将编译后的网页数据信息发送至数据反馈模块；