[发明专利]一种基于DAG的单元化分布式调度系统及方法

说明书

本发明公开了一种基于DAG的单元化分布式调度系统及方法，包括管理平台服务模块、任务调度服务模块、任务状态管理模块、任务执行模块和数据存储模块；管理平台服务模块用于配置任务类型、任务参数、基于DAG配置任务执行依赖和执行顺序；任务调度服务模块用于基于管理平台服务模块配置的数据进行任务调度，向任务执行模块发起可执行任务的拉起命令；任务状态管理模块用于存储执行过程中的状态数据；任务执行模块用于接收任务调度服务模块发送的任务拉起命令，执行节点根据命令拉起任务执行；数据存储模块用于存取任务输入输出数据、配置管理数据和业务数据；该系统能实现复杂任务调度、基于DAG的流程化任务执行。

技术领域

本发明涉及分布式调度系统技术领域，具体涉及一种基于DAG的单元化分布式调度系统及方法。

背景技术

随着现阶段系统规模和业务数据规模的爆炸式增长，定时执行的任务越来越多，对任务执行的要求也越来越复杂；在传统的系统中，定时调度任务基本都是采用单服务应用，均基于quartz的定时单体调度执行；但单体调度难以胜任大规模的任务管理和任务执行，而且在高可用上也存在难以扩展的限制。

在如今大规模的业务系统下，业务系统数据库由单体数据库逐步升级为分布式数据库，或是采用多实例，多数据节点分布式存储结构；近些年来也有很多优秀的开源分布式调度系统，例如：XXX-Job，ElasticJob，Saturn Job，SIA-Task，将单体服务调度发展成分布式调度，主要采用基于Zookeeper作为节点的分布式执行支持，实现了多节点、大规模调度任务的执行与管理；而目前在任务调度系统上，既需要在业务任务的角度支持多种任务的flow流程化执行，又需要基于不同的场景下可对一个业务下的多数据节点、多数据库实例或者多个分库同时并发执行相同的任务flow流程；对任务的执行编排、执行配置、任务执行并发以及执行调度都有更加复杂性的要求；但主流的分布式调度系统对任务流的依赖执行支持有限，仅支持简单的链式顺序执行或者事件触发执行，也无法实现管理端很好的任务调度依赖编排功能，无法对复杂的依赖任务进行有效的编排和调度执行；SIA的调度虽然也提供了任务按workflow的编排功能，但仍然难以实现复杂的调度任务配置，需要由业务的任务按场景单独编码实现，而且任务的执行对调度节点的依赖很强，对调度节点的可靠性要求更高，需要同步管理Zookeeper和数据库中的任务状态，对发生问题的任务状态难以维护。

而且在分布式调度系统中，分布式任务的执行状态的更新和状态变更是调度系统中的难点；同时目前的分布式调度系统更多集中在大数据领域，解决大数据处理的调度任务的节点分配问题，或者采用消息队列、任务调度算法的创新解决任务执行的顺序和执行优先级的问题；其更多的是提升任务的调度效率和任务执行资源的分配上，对调度系统的运维和任务管理的支持上表现不够，在对偏业务系统的调度上，通常通过消息队列和数据分片的方式实现大量任务的执行和执行调度管理，其存在对任务的执行依赖以及在执行流程管控上存在支持有限的问题。

发明内容

针对上述问题，本发明的一个目的是提供一种基于DAG的单元化分布式调度系统，该系统支持可视化的多种类型任务的workflow流程化配置，能实现大规模复杂任务调度、能实现基于DAG(有向无环图)的流程化任务执行，按flow流程在分布式环境下任务并行或依赖执行；实现所见即所得的任务编排配置和执行配置；实现在多数据库实例或多个分库场景下多单元任务的并行执行，即以任务组合的方式在任务flow流程上进行单元化任务以及嵌套式流程任务的并行执行和依赖执行，解决了对任务的执行依赖以及执行流程的管控上存在支持有限的问题；该系统的任务执行节点以分布式的方式在不同的主机上分别执行，由调度服务节点和执行节点通过消息监听，以RPC双向通讯的方式确认任务的执行情况并更新。

本发明的第二个目的是提供一种基于DAG的单元化分布式调度方法。

本发明所采用的第一个技术方案是：一种基于DAG的单元化分布式调度系统，包括管理平台服务模块、任务调度服务模块、任务状态管理模块、任务执行模块和数据存储模块；