[发明专利]负载均衡的数据采集方法及装置

权利要求书

1.一种负载均衡的数据采集方法，其特征在于，包括：

确定多个对等群组，每个对等群组包括多个对等采集节点，所述多个对等采集节点用于执行同一业务的同一任务类型的多个数据采集任务；

确定每个对等采集节点的负荷阈值；

在获得新增数据采集任务后，将新增数据采集任务按照任务类型和所在业务分配至满足预设分配条件的对等采集节点上，所述预设分配条件是根据每个对等采集节点的负荷阈值确定的；

对每一对等采集节点，若该对等采集节点满足预设调整条件，在该对等采集节点所在的对等群组范围内，调整该对等采集节点上的数据采集任务，所述预设调整条件是根据该对等采集节点的负荷阈值确定的。

2.如权利要求1所述的负载均衡的数据采集方法，其特征在于，所述每个对等采集节点的负荷阈值包括第一负荷阈值、第二负荷阈值和第三负荷阈值，其中第一负荷阈值第二负荷阈值第三负荷阈值。

3.如权利要求2所述的负载均衡的数据采集方法，其特征在于，所述预设分配条件包括第一预设分配条件和第二预设分配条件，其中，第一预设分配条件为对等采集节点的当前负荷未达到第一负荷阈值，第二预设分配条件为对等采集节点的当前负荷大于第一负荷阈值且小于第二负荷阈值；

在获得新增数据采集任务后，将新增数据采集任务按照任务类型和所在业务分配至满足预设分配条件的对等采集节点上，所述预设分配条件是根据每个对等采集节点的负荷阈值确定的，包括：

在获得新增数据采集任务后，确定该新增数据采集任务的任务类型和所在业务对应的对等群组；

从满足第一预设分配条件的所述对等群组的所有对等采集节点中，确定当前负荷最小的对等采集节点，将新增数据采集任务分配至所述当前负荷最小的对等采集节点；

在所有对等采集节点均不满足第一预设分配条件时，从所有满足第二预设分配条件的所述对等群组的所有对等采集节点中确定当前负荷最小的对等采集节点，将新增数据采集任务分配至所述当前负荷最小的对等采集节点；

在所有对等采集节点均不满足第一预设分配条件且不满足第二预设分配条件时，丢弃所述新增数据采集任务。

4.如权利要求3所述的负载均衡的数据采集方法，其特征在于，还包括：

确定新增数据采集任务的优先级；

获得所述对等群组的所有对等采集节点上的所有数据采集任务的优先级；

在所有对等采集节点均不满足第一预设分配条件且不满足第二预设分配条件时，查找所述对等群组的所有对等采集节点上的所有数据采集任务中优先级最低的数据采集任务，获得优先级最低的数据采集任务列表；

接收用户根据所述优先级最低的数据采集任务列表输入的需丢弃的数据采集任务；

丢弃所述需丢弃的数据采集任务，将新增数据采集任务按照任务类型分配至满足预设分配条件的对等采集节点上。

5.如权利要求2所述的负载均衡的数据采集方法，其特征在于，对每一对等采集节点，若该对等采集节点满足预设调整条件，在该对等采集节点所在的对等群组范围内，调整该对等采集节点上的数据采集任务，包括：

对每一对等采集节点，若该对等采集节点满足预设调整条件，确定该对等采集节点所在的对等群组范围内能够接收数据采集任务的对等采集节点的第一列表；

在所述第一列表不为空时，从所述第一列表中查找当前负荷最小的对等采集节点；

确定该对等采集节点中需调整的数据采集任务；

将所述需调整的数据采集任务调整至当前负荷最小的对等采集节点上。