[发明专利]分布式任务调度方法及系统

说明书

本发明提供了一种分布式任务调度方法及系统，涉及计算技术领域，该方法包括：对中间件中的调度任务的事件进行监听，其中，所述调度任务对应有第一容错锁，与所述第一容错锁绑定的调度节点为主调度节点，调度节点集群中除主调度节点以外的调度节点作为备调度节点；如果监听到所述调度任务的主调度节点异常事件，则向所述中间件请求所述第一容错锁；如果得到所述第一容错锁，则基于所述第一容错锁在数据库中确定所述第一容错锁对应的所述调度任务，并执行所述调度任务。缓解了现有技术中存在的容错率低的技术问题，实现了对于调度任务较高的容错机制，提升了任务调度系统的稳定性。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种分布式任务调度方法及系统。

背景技术

任务调度是指基于给定的时间点，以给定的时间间隔或者给定的执行次数自动执行任务。分布式任务调度可以将具体执行指令指定给具体节点去执行，整个过程即为分布式任务调度，当然这里的调度是基于所有分布式节点资源冗余、网络情况、任务复杂性等综合因素判断的，整个判断过程即为调度过程。在这个过程(即调度过程)中可能因为某些原因指定的节点执行失败，这个时候需要调度器去感知、去重新提交执行或者更改节点执行(即执行节点容错)；同时下发任务的调度器如果发生异常，也需要有较好的容错机制，保证任务可以正常下发(即调度器容错)。

因此，分布式调度系统容错机制设计主要需要考虑两方面：执行节点容错和调度器容错。增强这两部分的健壮性和可容错性，有利于提升分布式调度系统的整体稳定性，分布式调度系统容错机制也是整个分布式调度系统是否成熟的重要标志。

目前，最基本的调度系统即为linux的crontab工具，可以提供定时、定次执行某些命令，在此基础上多机配置实现分布式任务调度，这个工具调度基本没有容错机制，当前机器执行失败后也不会选择其他机器执行。

常见的分布式任务调度系统如AZKABAN，AZKABAN是高级成熟的调度系统，有调度器的容错机制，即如果调度的目标机器执行失败会重新提交任务。但是调度器本身是单点部署，没有容错机制。

发明内容

本发明的目的在于提供一种分布式任务调度方法及系统，以缓解现有技术中存在的分布式调度系统容错率低的技术问题。

第一方面，本发明实施例提供一种分布式任务调度方法，包括：

对中间件中的调度任务的事件进行监听，其中，所述调度任务对应有第一容错锁，与所述第一容错锁绑定的调度节点为主调度节点，调度节点集群中除所述主调度节点以外的调度节点作为备调度节点；

如果监听到所述调度任务的主调度节点异常事件，则向所述中间件请求所述第一容错锁；

如果得到所述第一容错锁，则基于所述第一容错锁在数据库中确定所述第一容错锁对应的所述调度任务，并执行所述调度任务。

在可选的实施方式中，执行所述调度任务的步骤，包括：

基于所述调度任务确定执行任务以及执行节点；

指示所述执行节点执行所述执行任务。

在可选的实施方式中，所述执行节点为多个，所述多个执行节点中的一个为主执行节点，其他为备执行节点；所述指示所述执行节点执行所述执行任务包括：指示所述主执行节点执行所述执行任务。

第二方面，本发明实施例提供一种分布式任务调度方法，包括：

对中间件中的执行任务的事件进行监听，其中，所述执行任务对应有第二容错锁，与所述第二容错锁绑定的执行节点作为主执行节点，所述执行任务对应有多个备执行节点；

如果监听到所述执行任务的主执行节点异常事件，则向所述中间件请求所述第二容错锁；

如果得到所述第二容错锁，则基于所述第二容错锁执行所述执行任务。