[发明专利]网络内容异步抓取系统和方法

说明书

本发明提出一种网络异步抓取系统和方法，该网络异步抓取系统包括任务队列管理器，用于提供至少一个任务队列；调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据URL所属任务所在后端的环境类型来触发驱动器对URL进行调度；驱动器，用于被调度器触发之后，读取URL所属任务的任务信息，基于任务信息将URL注入抓取池，并根据任务信息控制URL注入抓取池的频率，任务信息包括每秒查询率和并发值；执行器，用于从抓取池中读取URL，并对URL进行抓取。通过本发明能够在高并发时保障抓取系统的稳定性，有效节省系统资源，提升抓取性能。

技术领域

本发明涉及互联网技术领域，尤其涉及一种网络内容异步抓取系统和方法。

背景技术

随着互联网的发展，互联网会包含海量的网络内容，一些应用场景下，需要采用一些计算机技术从海量的网络内容中抽取出用户需要的网络内容，该计算机技术被称为抓取。例如，可以通过使用抓取器来对网络内容进行抓取。

相关技术中，抓取器采用并发控制策略，或者每秒查询率(Query Per Second，QPS)控制策略，其中，并发控制策略，通过线程或者进程独立控制总量的并发队列长度，每个进程或者线程同步执行抓取，保证队列总长度固定，对系统的压力固定，而QPS控制策略，通过固定的频率执行抓取。

这两种方式下，控制粒度过于粗放，对于慢后端系统而言，抓取性能较差，无法充分保障网络内容抓取的稳定性，易造成抓取系统的雪崩效应。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种网络内容异步抓取系统，能够在高并发时保障抓取系统的稳定性，有效节省系统资源，提升抓取性能。

本发明的另一个目的在于提出一种网络内容异步抓取方法。

为达到上述目的，本发明第一方面实施例提出的网络内容异步抓取系统，包括：任务队列管理器，用于提供至少一个任务队列；调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度；驱动器，用于被所述调度器触发之后，读取所述URL所属任务的任务信息，基于所述任务信息将所述URL注入抓取池，并根据所述任务信息控制所述URL注入所述抓取池的频率，所述任务信息包括每秒查询率和并发值；执行器，用于从所述抓取池中读取所述URL，并对所述URL进行抓取。

本发明第一方面实施例提出的网络内容异步抓取系统，通过从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据URL所属任务所在后端的环境类型来触发驱动器对URL进行调度，读取URL所属任务的任务信息，基于任务信息将URL注入抓取池，并根据任务信息控制URL注入抓取池的频率，任务信息包括每秒查询率和并发值，以及从抓取池中读取URL，并对URL进行抓取，能够在高并发时保障抓取系统的稳定性，有效节省系统资源，提升抓取性能。

为达到上述目的，本发明第二方面实施例提出的网络内容异步抓取方法，包括：获取至少一个任务队列；从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度；读取所述URL所属任务的任务信息，基于所述任务信息将所述URL注入抓取池，并根据所述任务信息控制所述URL注入所述抓取池的频率，所述任务信息包括每秒查询率和并发值；从所述抓取池中读取所述URL，并对所述URL进行抓取。