[发明专利]分布式网络信息采集系统、方法及计算机可读存储介质

权利要求书

1.一种分布式网络信息采集系统，其特征在于，包括中央服务器、多个子采集结点和数据存储服务器，所述中央服务器用于选择采集目标、分配采集资源，通过请求将采集任务下发至指定的子采集结点；所述子采集结点用于根据采集任务采集完后数据后将采集的数据返回至所述中央服务器；所述数据存储服务器用于存储从所述子采集结点返回的数据。

2.如权利要求1所述的分布式网络信息采集系统，其特征在于，所述采集资源包括采集账号和代理IP。

3.如权利要求2所述的分布式网络信息采集系统，其特征在于，所述中央服务器包括：

采集目标管理模块，用于管理待采集目标，设置待采集目标的优先级，记录待采集目标的状态；

采集资源构建模块，用于为登录才能进行采集的网站构建采集帐号，为依赖IP地址进行采集的网站构建IP池；

调度分配模块，用于选择采集目标并为选择的采集目标分配好指定的采集资源；

调度处理模块，用于对来自子采集结点的数据进行处理，记录采集资源使用情况；

数据处理模块，用于将来自子采集结点的数据经过处理构造成结构化的数据最终存储至所述数据存储服务器。

4.如权利要求1所述的分布式网络信息采集系统，其特征在于，所述中央服务器通过HTTP协议与各个采集结点进行通信。

5.一种分布式网络信息采集方法，其特征在于，包括以下步骤：

由中央服务器用于选择采集目标并分配采集资源；

通过请求将采集任务下发至指定的子采集结点；

所述子采集结点根据采集任务采集完后数据后将采集的数据返回至所述中央服务器；

将从所述子采集结点返回的数据存储至数据存储服务器。

6.如权利要求5所述的分布式网络信息采集方法，其特征在于，所述采集资源包括采集账号和代理IP。

7.如权利要求6所述的分布式网络信息采集系统，其特征在于，由中央服务器用于选择采集目标并分配采集资源的所述步骤包括：

管理待采集目标，设置待采集目标的优先级，记录待采集目标的状态；

为登录才能进行采集的网站构建采集帐号，为依赖IP地址进行采集的网站构建IP池；

选择采集目标并为选择的采集目标分配好指定的采集资源。

8.如权利要求5所述的分布式网络信息采集方法，其特征在于，将从所述子采集结点返回的数据存储至数据存储服务器的所述步骤包括

对来自子采集结点的数据进行处理，记录采集资源使用情况；

将来自子采集结点的数据经过处理构造成结构化的数据最终存储至所述数据存储服务器。

9.一种分布式网络信息采集系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求5-8任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求5-8任一项所述的方法的步骤。