[发明专利]一种基于分布式爬虫的数据获取方法及其系统

权利要求书

1.一种基于分布式爬虫的数据获取方法，其特征在于，包括以下步骤：

S1、根据不同网页的属性对网页进行划分；

S2、针对网页的划分，确定至少一个爬虫抓取参数；

S3、按照确定的爬虫抓取参数抓取当前网页信息，并对抓取的网页信息进行解析，得到解析数据；

S4、对获得的解析数据进行编译，得到用户能够识别的网页数据信息；

S5、对编译后的网页数据信息进行汇总，并反馈至数据保存模块；

S6、用汇总后的网页数据信息进行存储。

2.一种基于分布式爬虫的数据获取系统，其特征在于：包括网页分类模块、策略抓取模块、解析模块、编译模块、数据反馈模块和数据保存模块；

所述网页分类模块用于对不同网页的属性进行划分，将相同属性的网页划分为同一类；

所述策略抓取模块根据网页的不同划分，确定至少一个爬虫抓取参数；

所述解析模块按照爬虫抓取参数从当前的网页上抓取网页信息，并对抓取的网页信息进行解析，得到解析数据；

所述编译模块用于将解析模块根据不同解析规则而获得的解析数据进行编译，得到用户可识别的网页数据信息，并将编译后的网页数据信息发送至数据反馈模块；

所述数据反馈模块，对接收的编译后的网页数据信息进行汇总，并将汇总后的网页数据信息反馈至数据保存模块；

所述数据保存模块用于对数据反馈模块反馈的汇总后的网页数据信息进行存储。

3.根据权利要求2所述的一种基于分布式爬虫的数据获取系统，其特征在于：所述策略抓取模块至少包括一个跳转连接，用于与其他网页进行连接。

4.根据权利要求2所述的一种基于分布式爬虫的数据获取系统，其特征在于：所述解析模块包括类型判断单元和解析单元，所述类型判断单元用于对获取的网页类型进行判断；解析单元通过根据网页的不同类型，对网页上的数据信息进行解析。