[发明专利]数据抓取方法及装置

说明书

提供一种数据抓取方法及装置，涉及大数据技术领域，其中，所述方法包括：向代理池中各个代理服务器启动采集目标网站数据资源的系统广播，各个代理服务器用于按照各自的模式采集目标网站的数据资源；从代理池中响应系统广播的多个代理服务器中选取至少一个代理服务器作为有效代理服务器集；向有效代理服务器集提供抓取引擎，以驱使有效代理服务器集从目标网站采集数据资源；按有效代理服务器集回传的数据资源集索引下载并解析目标网站的数据得到目标数据。本发明提供的方案可以根据不同类型的目标网站自动地从代理池中筛选出有效代理服务器，继而，实现自适应地选取适应引擎模式抓取对应类型的网站数据的目标。

技术领域

本发明涉及大数据技术领域，具体涉及一种数据抓取方法及装置。

背景技术

随着互联网的迅速发展，数据规模比以往任何时候都更快速地增长。数据会变得越来越重要，掌握大规模高质量数据将是未来经济竞争力的重要一环。爬虫便是快速获取互联网数据的一个有效途径，它是按照特定的规则不断往更深的网络请求数据，并进行针对性解析，最后将解析结果以某种适合数据分析的格式保存的过程。

然而，随着网站框架结构和数据生成模型变得愈加复杂，互联网数据的收集需要面对数据类型多样化，复杂化的困难。譬如静态网站数据抓取和动态网站的数据抓取方式不同，此外，不同的网站服务器架构及逻辑结构不同，难以采用单一的数据抓取方式来适应不同的网站。因此，传统数据抓取具有操作繁杂、容易遭遇屏蔽、适应网站类型单一和适用平台受限等缺点。

因此，如何实现自适应抓取不同类型的网站数据成为亟待解决的问题。

发明内容

本发明要解决的技术问题在于如何实现自适应抓取不同类型的网站数据。

为此，根据第一方面，本发明实施例公开了一种数据抓取方法，包括：

向代理池中各个代理服务器启动采集目标网站数据资源的系统广播，各个代理服务器用于按照各自的模式采集目标网站的数据资源；从代理池中响应系统广播的多个代理服务器中选取至少一个代理服务器作为有效代理服务器集；向有效代理服务器集提供抓取引擎，以驱使有效代理服务器集从目标网站采集数据资源；按有效代理服务器集回传的数据资源集索引下载并解析目标网站的数据得到目标数据。

可选地，从代理池中响应系统广播的多个代理服务器中选取至少一个代理服务器作为有效代理服务器集包括：分别获取响应系统广播的各个代理服务器的响应速度；选取响应速度快的至少一个代理服务器作为有效代理服务器集。

可选地，在向有效代理服务器提供抓取引擎之后，还包括：评价前次各有效代理服务器采集数据资源的质量得分；根据质量得分确定当前次各有效代理服务器的数据资源采集的采集权重；向有效代理服务器集提供抓取引擎，以驱使有效代理服务器集从目标网站采集数据资源，包括：向各有效代理服务器分配各自当前次的采集权重；向各有效代理服务器提供抓取引擎，以驱使各有效代理服务器按各自当前次的采集权重从目标网站采集数据资源。

可选地，在评价前次各有效代理服务器采集数据资源的质量得分和根据质量得分确定当前次各有效代理服务器的数据资源采集的采集权重之间，还包括：判断有效代理服务器采集数据资源的质量得分是否合格；如果有效代理服务器采集数据资源的质量得分不合格，则将不合格质量得分所对应的有效代理服务器标记为无效代理服务器。

根据第二方面，本发明实施例公开了一种数据抓取装置，包括：

系统广播模块，用于向代理池中各个代理服务器启动采集目标网站数据资源的系统广播，各个代理服务器用于按照各自的模式采集目标网站的数据资源；有效选取模块，用于从代理池中响应系统广播的多个代理服务器中选取至少一个代理服务器作为有效代理服务器集；引擎提供模块，用于向有效代理服务器集提供抓取引擎，以驱使有效代理服务器集从目标网站采集数据资源；数据下载模块，用于按有效代理服务器集回传的数据资源集索引下载并解析目标网站的数据得到目标数据。