[发明专利]一种松耦合的分布式工作流协调系统和方法

权利要求书

1.一种松耦合的分布式工作流协调系统，其特征在于，该系统包括：接口服务API，分布式工作流协调器Coordinator，分布式任务执行器Worker，高可用缓存Cache，分布式消息队列MQ，数据库RDBMS和分布式协调服务Zookeeper。

所述接口服务API通过Zookeeper来监控分布式工作流协调器Coordinator和分布式任务执行器Worker的服务情况；

所述分布式消息队列MQ包括工作流派发分布式消息队列MQ(workflow-MQ)、任务派发分布式消息队列MQ(task-dispatch-WorkerGroup-MQ)和任务回调分布式消息队列MQ(task-callback-MQ)；

所述分布式工作流协调器Coordinator执行以下功能：集成分布式定时引擎Quartz，定时调度工作流并发送到workflow-MQ；从workflow-MQ接收工作流进行处理；处理工作流到任务队列的DAG拓扑和优先级排序；将工作流实例及其任务实例的创建、状态更新的数据持久化保存到数据库；将工作流及其任务队列的上下文缓存到高可用缓存redis中；业务类型任务通过task-dispatch-WorkerGroup-MQ派发到分布式任务执行器Worker，逻辑型任务直接在协调器Coordinator上执行；任务实例执行结果通过task-callback-MQ获取；评估自身主机内存、计算资源和线程池的使用率从而合理接收工作流；

所述分布式任务执行器Worker负责各业务型任务的接收、执行、回调；评估自身主机内存、计算资源和线程池的使用率从而合理接收任务。

2.根据权利要求1所述的一种松耦合的分布式工作流协调系统，其特征在于，所述接口服务API实现如下功能：工作流及其任务的定义创建、定时创建；工作流定时的上线；工作流手动运行、补数；工作流实例的重跑、暂停、停止等控制。

3.根据权利要求1所述的一种松耦合的分布式工作流协调系统，其特征在于，所述分布式工作流协调器Coordinator和分布式任务执行器Worker均集成Zookeeper进行服务注册、心跳、容错和分布式锁。

4.根据权利要求1所述的一种松耦合的分布式工作流协调系统，其特征在于，工作流上线后才允许定时上线，定时上线会将工作流作为定时作业添加到Quartz引擎，等待定时触发后执行。

5.根据权利要求1所述的一种松耦合的分布式工作流协调系统，其特征在于，该系统还包括RDBMS，用于存储工作流调度和定时元数据。

6.根据权利要求1所述的一种松耦合的分布式工作流协调系统，其特征在于，该系统还包括HDFS，用于任务依赖的文件资源的存储管理。

7.一种基于权利要求1-6任一项所述的松耦合的分布式工作流协调系统的分布式工作流协调方法，其特征在于，该方法包括如下步骤：

(1)用户通过调用接口服务API，发起HTTP请求，上线工作流及其定时；

(2)分布式工作流协调器Coordinator通过集成分布式定时引擎Quartz，来定时调度工作流并发送到workflow-MQ；并从workflow-MQ接收工作流并进行处理，具体实现如下功能：

a.实现工作流到任务队列的DAG拓扑和优先级排序；

b.将工作流及其任务队列的上下文缓存到高可用缓存redis中；

c.将逻辑型任务直接执行；将业务类型任务派发到task-dispatch-WorkerGroup-MQ，待分布式任务执行器Worker接收并执行；通过task-callback-MQ接收任务实例执行结果；

e.对工作流实例及其任务实例进行创建、状态更新的数据持久化，将数据保存到数据库；

(3)分布式工作流协调器Coordinator将待执行的业务型任务，通过task-dispatch-WorkerGroup-MQ派发到分布式任务执行器Worker，分布式任务执行器Worker接收各业务型任务并执行，将任务执行结果通过task-callback-MQ回调至分布式工作流协调器Coordinator；最后通过分布式工作流协调器Coordinator将任务执行结果持久化存储到数据库并反馈给用户。