[发明专利]集群任务均衡调度方法、装置、存储介质及电子设备

说明书

本公开涉及一种集群任务均衡调度方法、装置、存储介质及电子设备，该方法包括：当监听到第一调度到达约定的时间点时，抢占调度锁；在成功抢占所述调度锁后，将所述第一调度对应的待分配任务按照预设的任务分配规则分配给所述集群中的每个节点；通知所述集群中的其他节点执行所述第一节点分配的任务。能够解决任务分配不均衡，以及任务锁开销大的问题，达到使得任务分配更均衡，降低系统负担的效果。

技术领域

本公开涉及负载均衡技术领域，具体地，涉及一种集群任务均衡调度方法、装置、存储介质及电子设备。

背景技术

目前，在数据采集(集成)业务中，经常通过定时采集来满足业务需要，例如以10秒、1分钟、5分钟、10分钟作为定时采集频率，数据采集程序在约定的时间点上开始采集数据，在业务中也称为定时任务。

在现有技术中，定时任务被触发后，所有可以执行任务的节点抢占调度锁，抢到调度锁的节点将对应的任务放在共享资源池中，例如共享的任务队列中，定时采用竞争方式获取到锁，其竞争方式是所有节点抢占任务锁，先获取到锁的节点取走该任务，并执行该任务，当执行完该任务后，该节点释放任务锁，并再次由上述的所有节点通过竞争方式获取任务锁，以此反复执行。

可见，上述方式是由多个节点通过竞争方式来执行任务，因此任务的分配是不均衡的，并且采用竞争任务锁的方式，参与竞争的节点越多时，任务锁的开销也越大，会增大系统负担。

发明内容

本公开的目的是提供一种集群任务均衡调度方法、装置、存储介质及电子设备，用于解决任务分配不均衡，以及任务锁开销大的问题。

为了实现上述目的，第一方面，本公开提供一种群任务均衡调度方法，应用于集群中的任一节点，所述方法包括：

当监听到第一调度到达约定的时间点时，抢占调度锁；

在成功抢占所述调度锁后，将所述第一调度对应的待分配任务按照预设的任务分配规则分配给所述集群中的每个节点；

通知所述集群中的其他节点执行分配的任务。

可选的，所述将所述第一调度对应的待分配任务按照预设的任务分配规则分配给所述集群中的每个节点，包括：

将所述第一调度对应的所有待分配任务按照平均分配原则分配给所述集群中的每个节点；

将分配给所述每个节点的待分配任务添加到所述每个节点的任务队列中，其中，所述每个节点对应一个任务队列。

可选的，所述将所述第一调度对应的待分配任务按照预设的任务分配规则分配给所述集群中的每个节点，包括：

获取所述集群中的所有节点的任务队列信息，任务队列信息中包括所述集群中的每个节点的任务队列中当前存在的已分配任务；其中，所述每个节点对应一个任务队列；

确定所述每个节点的任务队列中每个所述已分配任务所需的任务耗时；

根据每个所述已分配任务所需的任务耗时，确定所述所有节点的剩余执行总时间，以及所述每个节点的剩余执行时间，所述剩余执行总时间为所述所有节点将所有所述已分配任务执行完所需的总时间，所述每个节点的剩余执行时间为所述每个节点将自己的任务队列中的所有所述已分配任务执行完所需的时间；

确定所述第一调度对应的所有待分配任务中的每个待分配任务所需的任务耗时；

根据所述每个待分配任务所需的任务耗时，确定所述所有待分配任务的总耗时；

根据所述剩余执行总时间，以及所述所有待分配任务的总耗时确定所述所有节点执行任务所需的总时间；

根据所述总时间和所述集群的节点数量确定为所述每个节点分配的任务时间；