[发明专利]一种松耦合的分布式工作流协调系统和方法

说明书

本发明公开了一种松耦合的分布式工作流协调系统和方法，用户通过调用接口服务API，对工作流进行定义、上线和运维等；分布式工作流协调器Coordinator通过集成分布式定时引擎Quartz，来定时调度工作流并添加到工作流派发分布式消息队列MQ，接收工作流并处理其任务依赖关系，将协调后待执行的业务型任务添加到任务派发分布式消息队列MQ；分布式任务执行器Worker从任务派发分布式消息队列MQ中接收各业务型任务并执行，将任务执行结果通过任务回调分布式消息队列MQ回调至分布式工作流协调器Coordinator；最后Coordinator将任务执行结果持久化保存到数据库，用于反馈用户。本发明将Coordinator专注于逻辑协调处理，保证工作流协调处理与任务执行充分解耦，提升系统的吞吐量、扩展性以及伸缩性。

技术领域

本发明涉及大数据开发处理技术领域，具体来说，涉及一种松耦合的分布式工作流协调系统和方法。

背景技术

在数据开发项目中，通常需要制定若干工作流(以任务为节点，满足依赖关系的DAG)，每个工作流按照相应的定时(Cron表达式)，进行周期性的执行；此类业务通常通过工作流调度系统来实现。

传统工作流调度系统通常由：API接口服务、Manager工作流管理器、Worker任务执行器、RDBMS数据存储。

API接口服务：负责工作流及其任务的创建、定时的创建以及工作流定时的上线；

Manager管理器：负责工作流的定时执行、工作流DAG转任务线性队列、任务队列执行上下文管理、任务派发给对应的worker、任务执行结果回调监听、任务状态判断和后续任务派发；

Worker任务处理器：负责各类业务型任务的执行。

RDBMS数据库存储：负责工作流元数据存储、工作流派发队列；

传统架构的弊端:

Manager在处理工作流及其任务队列时不支持优先级排序，对于无明确先后关系的工作流或任务的线性顺序是随机的，调度不够精确；

Manager与Worker耦合度高，不利于系统扩展和维护；

Manager内存管理大量工作流实例及其任务队上下文，资源消耗大，系统吞吐量受限；另外因为工作流上下文是缓存在Manager实例内部的，所以一个工作流实例只能在一个Manager实例内部完成，Manager的分布式处理粒度限制于工作流实例。

发明内容

本发明目的在于针对现有技术的不足，提出一种松耦合的分布式工作流协调方法和系统，将Coordinator专注于逻辑协调处理，保证工作流协调处理与任务执行充分解耦，提升系统的吞吐量、扩展性以及伸缩性。

本发明的目的是通过以下技术方案来实现的：一种松耦合的分布式工作流协调系统，该系统包括：接口服务API，分布式工作流协调器Coordinator，分布式任务执行器Worker，高可用缓存Cache，分布式消息队列MQ，数据库RDBMS和分布式协调服务Zookeeper。

所述接口服务API通过Zookeeper来监控分布式工作流协调器Coordinator和分布式任务执行器Worker的服务情况；

所述分布式消息队列MQ包括工作流派发分布式消息队列MQ(workflow-MQ)、任务派发分布式消息队列MQ(task-dispatch-WorkerGroup-MQ)和任务回调分布式消息队列MQ(task-callback-MQ)；