[发明专利]数据采集方法、装置及存储介质

权利要求书

1.一种数据采集方法，其特征在于，应用于分布式采集系统，所述分布式采集系统包括多个调度节点、总控节点、多个数据采集节点以及代理节点；所述多个数据采集节点布置在不同的机房中；所述方法包括：

所述总控节点接收所述调度节点发送的调度任务；所述调度任务包括目标网页以及所述目标网页的调度顺序，所述目标网页以及所述目标网页的调度顺序由所述调度节点根据采集任务及预定调度策略获取；

所述总控节点接收各所述数据采集节点发送的运行状态信息；

所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，以使所述数据采集节点执行所述调度任务；

所述总控节点是由所述代理节点将所有总控节点注册到所述分布式采集系统的可靠协调系统中后根据所述可靠协调系统中的节点数据对所述所有总控节点进行选举选出的；

所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，包括：

所述总控节点根据网页域名打散策略、各所述数据采集节点的处理能力信息及运行状态信息，将所述调度任务分配给所述数据采集节点；其中，所述网页域名打散策略为，在有其他域名任务前提下，两个相邻的任务不能是相同域名任务。

2.根据权利要求1所述的方法，其特征在于，所述总控节点配置有至少一个备用总控节点，以在所述总控节点出现故障时从所述至少一个备用总控节点中选举出一个备用总控节点以替代所述总控节点。

3.一种数据采集方法，其特征在于，应用于分布式采集系统，所述分布式采集系统包括多个调度节点、总控节点、多个数据采集节点以及代理节点；所述多个数据采集节点布置在不同的机房中；所述方法包括：

所述数据采集节点获取自身的运行状态信息；

所述数据采集节点将所述运行状态信息发送给所述总控节点，以使所述总控节点根据网页域名打散策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将调度任务分配给所述数据采集节点；其中，所述网页域名打散策略为，在有其他域名任务前提下，两个相邻的任务不能是相同域名任务；所述调度任务为所述调度节点发送至所述总控节点的包括目标网页以及所述目标网页的调度顺序的任务，所述目标网页以及所述目标网页的调度顺序由所述调度节点根据采集任务及预定调度策略获取；

所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务；

所述总控节点是由所述代理节点将所有总控节点注册到所述分布式采集系统的可靠协调系统中后根据所述可靠协调系统中的节点数据对所述所有总控节点进行选举选出的。

4.根据权利要求3所述的方法，其特征在于，所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务，包括：

所述数据采集节点接收到所述调度任务后，根据所述调度任务为所述数据采集节点的下载插件和解析插件分配任务，以由所述下载插件和所述解析插件分别独立的执行所分配的任务。

5.根据权利要求4所述的方法，其特征在于，所述数据采集节点将所述运行状态信息发送给所述总控节点，包括：

所述数据采集节点获取其各所述下载插件和所述解析插件的运行状态信息，将各插件的运行状态信息以预设周期发送给所述总控节点。