[发明专利]一种基于分布式对等架构设计的高可用任务调度方法

权利要求书

1.一种基于分布式对等架构设计的高可用任务调度方法，其特征在于，包括：

基于Zookeeper的分布式一致协议Zab实现节点选主，使得集群中一个节点担当任务协调者，其余节点担当任务执行者；

任务协调者对任务配置数据进行更新维护，并在校验级联任务间的依赖配置满足条件时，触发任务调度；

任务执行者从任务执行队列中获取待执行的任务并执行。

2.如权利要求1所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，所述任务执行者实时监控所述任务协调者的进程存活，并在所述任务协调者对应的ZNode消失时，重新进行选主操作，将竞选成功的任务执行者作为新的任务协调者。

3.如权利要求1所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，所述任务协调者对任务状态的流转进行监控，并在存在任务处于运行态的时间超过配置的时间阈值时，触发任务等待超时预警。

4.如权利要求1所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，还包括：

所述任务执行者执行任务进程时，按照设定的频率发送心跳消息至所述任务协调者；

所述任务协调者根据接收到的心跳消息判断心跳丢失是否达到设定的阈值；

若是，则确定所述任务执行者异常宕机，并对异常宕机的任务执行者上所有未完成的任务进行重新调度。

5.如权利要求1所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，还包括对所述级联任务间的依赖配置进行抽象管理，具体为：

将每个任务对上游任务的依赖配置为任务状态标记的存在，该任务状态标记为分布式文件系统指定路径下的空文件标记或者数据库中的一条记录；

基于对任务状态标记的监控，实现对任务状态的监控以及依赖配置的管理。

6.如权利要求5所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，还包括：

所述任务协调者基于所述任务队列中的任务监控及任务上游依赖的检测，对任务的批次进行状态的切换，其中，状态依次切换为阻塞态、就绪态、运行态和结束态，所述结束态包括成功态、失败态和人为终止态。

7.如权利要求6所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，还包括：

定义任务的优先级并用正整数表示任务优先级；

根据任务的优先级，将任务划分为不同批次，以在任务执行的计算资源分配中，优先调度优先级高的任务。

8.如权利要求7所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，所述上游任务的优先级高于下游任务的优先级，在所述上游任务优先级小于下游任务的优先级时，将下游优先级+1直至达到最上游任务优先级。

9.如权利要求8所述的基于分布式对等架构设计的高可用任务调度方法，其特征在于，在所述任务切换为就绪态后，计算等待时长，在等待任务的等待时长每增加设定时长时，将该任务的优先级+1。