[发明专利]分布式网络信息采集系统、方法及计算机可读存储介质

说明书

本发明公开了一种分布式网络信息采集系统，包括中央服务器、多个子采集结点和数据存储服务器，中央服务器用于选择采集目标、分配采集资源，通过请求将采集任务下发至指定的子采集结点；子采集结点用于根据采集任务采集完后数据后将采集的数据返回至中央服务器；数据存储服务器用于存储从子采集结点返回的数据。本发明由中央服务器负责采集目标管理、账号池资源管理、IP池资源管理、数据清洗、数据入库等业务，每个子采集结点负责具体页面请求采集工作，因此，通过对IP、账号、用户行为等方面进行限制，以实现对采集策略的更加灵活的处理，达到更加高效的采集数据的目的。

技术领域

本发明涉及互联网技术领域，尤其涉及一种针对互联网社交平台或新闻网站的分布式网络信息采集系统、方法及计算机可读存储介质。

背景技术

随着web信息的日益发展，web方面的技术也越来越多，网络爬虫就是其中一项重要的技术。网络爬虫是一种自动提取网页信息的技术，对网页信息进行解析与提取。从体系结构、爬行策略和典型应用等方面，爬虫种类分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫四种常见网络爬虫。国内外很多大公司的搜索引擎利用网络爬虫为大众用户提供搜索服务，中型规模的网络爬虫以其灵活的可定制性为特定客户设计服务。但是，当爬虫技术的爬取频率过快时，会对数据采集速度造成影响。因此，针对网络爬虫技术数据量大、更新速度快以及具有很高重复性的特点，需要一种高效、实时的网络信息采集系统。

发明内容

本发明的主要目的在于提供一种分布式网络信息采集系统及方法。

为实现上述目的，本发明提供一种分布式网络信息采集系统，包括中央服务器、多个子采集结点和数据存储服务器，所述中央服务器用于选择采集目标、分配采集资源，通过请求将采集任务下发至指定的子采集结点；所述子采集结点用于根据采集任务采集完后数据后将采集的数据返回至所述中央服务器；所述数据存储服务器用于存储从所述子采集结点返回的数据。

在本发明提供的分布式网络信息采集系统中，所述采集资源包括采集账号和代理IP。

在本发明提供的分布式网络信息采集系统中，所述中央服务器包括：

采集目标管理模块，用于管理待采集目标，设置待采集目标的优先级，记录待采集目标的状态；

采集资源构建模块，用于为登录才能进行采集的网站构建采集帐号，为依赖IP地址进行采集的网站构建IP池；

调度分配模块，用于选择采集目标并为选择的采集目标分配好指定的采集资源；

调度处理模块，用于对来自子采集结点的数据进行处理，记录采集资源使用情况；

数据处理模块，用于将来自子采集结点的数据经过处理构造成结构化的数据最终存储至所述数据存储服务器。

在本发明提供的分布式网络信息采集系统中，所述中央服务器通过HTTP协议与各个采集结点进行通信。

本发明另一方面还提供一种分布式网络信息采集方法，包括以下步骤：

由中央服务器用于选择采集目标并分配采集资源；

通过请求将采集任务下发至指定的子采集结点；

所述子采集结点根据采集任务采集完后数据后将采集的数据返回至所述中央服务器；

将从所述子采集结点返回的数据存储至数据存储服务器。

在本发明提供的分布式网络信息采集方法中，所述采集资源包括采集账号和代理IP。

在本发明提供的分布式网络信息采集方法中，由中央服务器用于选择采集目标并分配采集资源的所述步骤包括：

管理待采集目标，设置待采集目标的优先级，记录待采集目标的状态；