[发明专利]网络内容异步抓取系统和方法

权利要求书

1.一种网络内容异步抓取系统，其特征在于，包括：

任务队列管理器，用于提供至少一个任务队列；

调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度；

驱动器，用于被所述调度器触发之后，读取所述URL所属任务的任务信息，基于所述任务信息将所述URL注入抓取池，并根据所述任务信息控制所述URL注入所述抓取池的频率，所述任务信息包括每秒查询率和并发值；

执行器，用于从所述抓取池中读取所述URL，并对所述URL进行抓取。

2.如权利要求1所述的网络内容异步抓取系统，其特征在于，所述调度器包括：

读取模块，用于从每个任务队列中读取所述URL；

调度模块，用于根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度。

3.如权利要求2所述的网络内容异步抓取系统，其特征在于，所述调度模块包括：

第一获取子模块，用于获取所述URL所属任务所在后端的环境类型；

第二获取子模块，用于根据环境类型与并发的对应关系来获取与所述环境类型对应的并发信息；

判断子模块，用于根据所述并发信息判断所述环境类型的剩余并发值是否达到预设阈值；

调度子模块，用于在所述剩余并发值未达到所述预设阈值时，触发所述驱动器对所述URL进行调度，以及在所述剩余并发值达到所述预设阈值时，不触发所述驱动器对所述URL进行调度。

4.如权利要求1所述的网络内容异步抓取系统，其特征在于，所述抓取池采用redis数据库的list数据结构存储所述URL。

5.如权利要求1所述的网络内容异步抓取系统，其特征在于，所述驱动器还用于：

获取所述URL的标识，并基于redis服务的set数据结构将所述标识和对应的URL对应存储，以生成所述URL的记录信息。

6.如权利要求5所述的网络内容异步抓取系统，其特征在于，还包括：

获取模块，用于获取已抓取完毕的URL的标识作为目标标识，并删除所述set数据结构中所述目标标识对应的URL的记录信息。

7.如权利要求1或2或3所述的网络内容异步抓取系统，其特征在于，所述URL所属任务所在后端的环境类型不同或者相同。

8.一种网络内容异步抓取方法，其特征在于，包括以下步骤：

获取至少一个任务队列；

从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度；

读取所述URL所属任务的任务信息，基于所述任务信息将所述URL注入抓取池，并根据所述任务信息控制所述URL注入所述抓取池的频率，所述任务信息包括每秒查询率和并发值；

从所述抓取池中读取所述URL，并对所述URL进行抓取。

9.如权利要求8所述的网络内容异步抓取方法，其特征在于，所述根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度，包括：

获取所述URL所属任务所在后端的环境类型；

根据环境类型与并发的对应关系来获取与所述环境类型对应的并发信息；

根据所述并发信息判断所述环境类型的剩余并发值是否达到预设阈值；

在所述剩余并发值未达到所述预设阈值时，触发所述驱动器对所述URL进行调度，以及在所述剩余并发值达到所述预设阈值时，不触发所述驱动器对所述URL进行调度。

10.如权利要求8所述的网络内容异步抓取方法，其特征在于，所述抓取池采用redis数据库的list数据结构存储所述URL。