[发明专利]一种大数据平台去中心化的调度和执行方法、装置

说明书

本发明公开了一种大数据平台去中心化的任务调度触发和执行方法，若干个调度触发模块以进程为单位分布在ZooKeeper集群中同时运行、调度触发模块将被调度大数据计算任务的META信息写入ZooKeeper集群、任务执行模块以进程为单位，分布在ZooKeeper集群多个ZNode节点中运行、任务执行模块从ZooKeeper的ZNode树上进行依次遍历；当发现某个子过程具备执行条件时，锁定该任务、获取任务信息，执行该任务，并将任务的子过程执行结果和状态信息写入MySQL的任务历史、用户通过WebSocket协议建立后端WEB模块的连接，实时掌控ZooKeeper树中记录的所有任务的配置和状态信息。

技术领域

本发明涉及一种大数据平台去中心化的调度和执行方法、装置。

背景技术

任务调度、执行是操作系统的重要组成部分。对于周期性任务的统一调度，现有技术中主要通过判断当前时间与任务上次执行开始时间之间的时间差大于任务执行间隔来确定调度任务，任务在数据仓库的概念中就是最小处理数据动作的一种技术实现，在一个数据仓库中，数据的处理都是由成千上万的各种处理任务完成。在当前流行的数据仓库平台中，任务调度一般都实现了根据任务依赖关系，进行任务并发调度，并可以设置任务运行的并发度及任务的优先级，优先级越高，任务会优先触发执行。但在一些实际使用场景中，仍然存在种种问题，例如：由于数据平台运算资源不够，发生整个平台宕掉；任务的触发时间和完成时间没有达到业务方的需求等等。

发明内容

发明目的：本发明的目的是提供一种任一调度触发模块宕机后，可通过释放其所在Trigger定义的控制权，被剩余的各调度触发模块予以Quartz服务实例化启动，不会因为某个调度触发模块进程宕机而导致业务的中断的大数据平台去中心化的调度和执行方法。

本发明的另一目的是提供一种大数据平台去中心化的调度和执行装置。

技术方案：为了实现以上目的，一种大数据平台去中心化的任务调度触发和执行方法，适用于分布式大数据平台，包括步骤：

(1)若干个调度触发模块以进程为单位分布在ZooKeeper集群中同时运行，且彼此地位相同；

(2)调度触发模块将被调度大数据计算任务的META信息写入ZooKeeper集群；

(3)任务执行模块以进程为单位，分布在ZooKeeper集群多个ZNode节点中运行，且彼此间地位相同；

(4)任务执行模块以计算任务的子过程为单位，从ZooKeeper的ZNode树上进行依次遍历；当发现某个子过程具备执行条件时，在该任务的ZNode节点下添加临时节点以锁定该任务；

(5)从计算任务当前子过程的上下文中获取任务信息，执行该任务，并将任务的子过程执行结果和状态信息写入MySQL的任务历史；同时任务执行模块需要同步等待该任务子过程的执行直到完成或者异常退出；

(6)对于已经完成的任务子过程或异常退出，任务执行模块释放对于该任务ZNode节点的锁定，并且判断该子过程是否整个任务的最后一个子过程；如是则从ZooKeeper树中删除该任务的ZNode节点，表示该任务实例已经完成或失败执行；

(7)用户打开任务监控模块的前端UI，通过WebSocket协议建立后端WEB 模块的连接；所述WEB模块中通过ZooKeeper的Watcher监听器，实时掌控 ZooKeeper树中记录的所有任务的配置和状态信息，通过WebSocket双向通信协议主动广播推送到用户前端UI。

所述的调度方法包括步骤：

(1)触发器Trigger使用Quartz时钟表达式对任一任务进行自动触发，开始任务进程；