[发明专利]分布式爬虫实现方法和装置

权利要求书

1.一种分布式爬虫实现方法，其特征在于，所述方法包括：

创建爬虫任务，并根据所述爬虫任务中的采集任务和解析任务分别确定对应分布的部署节点，其中，所述爬虫任务包括至少一个；

启动所述爬虫任务，基于预先确定的警告规则和质量检测规则分别对所述采集任务和所述解析任务进行监控；

若监控状态异常，则发出警告，并重新对所述爬虫任务进行分布部署；

若监控状态正常，则持续运行所述爬虫任务，并将爬取数据写入数据库。

2.根据权利要求1所述的分布式爬虫实现方法，其特征在于，所述方法还包括：

根据所述数据库统计爬取数量和爬取速度，并进行可视化展示。

3.根据权利要求1所述的分布式爬虫实现方法，其特征在于，根据所述爬虫任务中的采集任务和解析任务分别确定对应分布的部署节点的步骤，包括：

确定所述爬虫任务的任务类型；

将所述爬虫任务中IO密集型的采集任务分布式部署在采集器的多个节点，将所述爬虫任务中CPU密集型的解析任务分布式部署在解析器的多个节点，其中，每个所述节点共享消息队列中的任务信息。

4.根据权利要求1所述的分布式爬虫实现方法，其特征在于，基于预先确定的警告规则和质量检测规则分别对所述采集任务和所述解析任务进行监控的步骤，包括：

基于预先确定的警告规则和质量检测规则对所述采集任务的状态进行监控；

或者，

基于预先确定的警告规则和质量检测规则对所述解析任务的状态进行监控；

或者，

基于预先确定的警告规则和质量检测规则对所述采集任务和所述解析任务的状态进行监控。

5.根据权利要求4所述的分布式爬虫实现方法，其特征在于，基于预先确定的警告规则和质量检测规则对所述采集任务的状态进行监控的步骤，包括：

基于预先确定的警告规则和质量检测规则对所述采集任务中的硬件使用率、返回的目标状态码数量、连接超时状态以及消耗速度进行监控。

6.根据权利要求4所述的分布式爬虫实现方法，其特征在于，基于预先确定的警告规则和质量检测规则对所述解析任务的状态进行监控的步骤，包括：

基于预先确定的警告规则和质量检测规则对所述解析任务中的CPU使用率、响应状态码提取数据和匹配数据失败次数进行监控。

7.根据权利要求1所述的分布式爬虫实现方法，其特征在于，所述质量检测规则包括数据取舍规则、数据矫正规则、数据清洗规则和数据去重规则。

8.一种分布式爬虫实现装置，其特征在于，所述装置包括：

确定模块，创建爬虫任务，并根据所述爬虫任务中的采集任务和解析任务分别确定对应分布的部署节点，其中，所述爬虫任务包括至少一个；

监控模块，启动所述爬虫任务，基于预先确定的警告规则和质量检测规则分别对所述采集任务和所述解析任务进行监控；

警告模块，若监控状态异常，则发出警告，并重新对所述爬虫任务进行分布部署；

写入模块，若监控状态正常，则持续运行所述爬虫任务，并将爬取数据写入数据库。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的方法。