[发明专利]一种事件触发调度系统和方法

说明书

本发明公开了一种事件触发调度系统和方法，涉及作业流调度技术领域。本发明实施例提供的事件触发调度系统和方法，是根据实际生产中，上一项作业执行成功之后才执行下一项的原则而开发的，所以，符合企业数据流的处理规范,不会出现上一项执行失败而执行下一项的情况，避免了后续产生一系列的错误，同时，由于通过事件触发下一项任务的执行，所以，作业流简单，减少了资源的浪费与占用。

技术领域

本发明涉及作业流调度技术领域，尤其涉及一种事件触发调度系统和方法。

背景技术

目前，企业生产过程中，一般使用工作流任务调度器对工作流任务进行调度，以实现企业对工作流的批量管理。

其中，Azkaban是由Linkedin开源的一个批量工作流任务调度器。为了得到想要的数据，通常需要执行很多作业，一批作业执行完毕，再将中间结果进一步处理，最后得到有价值的数据，因此作业之间执行有先后顺序和依赖关系。这样的一组作业称为一个工作流，Azkaban就是用来构建、运行和管理工作流的工具，它提供友好的Web用户界面来维护和跟踪用户的工作流程。

Azkaban由三个重要的组件组成，mysql数据库，executor和webserver。其中Azkaban的webserver除了提供web页面响应服务，还负责项目管理，认证，调度，监控和发起执行，它是azkaban的大脑。executor则负责作业的执行，对执行过程及结果进行监控，并将执行状况汇报给AzkabanWebServer，两者采用http接口进行通信。

Azkaban中的调度主要是时间触发调度，工作流内依赖调度执行。而对于跨作业流，跨部门的作业，或者执行过程中对其他作业流的事件触发并不能很好的支持。因为，Azkaban主要是创建一个大的作业流，包含所有的作业，或者是执行定时调度。而把所有的作业都组成一个大的作业流，无形中增加了作业流的复杂度，并且难以理解和维护，如果是跨部门合作的话，作业流沟通也是一项很大的成本。而使用定时调度的方案也有可能产生信息滞后性，如当某项作业产生错误执行失败时，而后面的定时作业还会照常执行，就会产生后续的一系列错误，再进行作业恢复既耗时又耗力，耽误正常的作业流程。

而在企业生产过程中，数据来源于多个部门，多个作业流进行交叉运算，某个部门的作业流中的部分数据可能依赖于其他部门的计算结果，因此，对于作业流外依赖azkaban支持并不是很好。

发明内容

本发明的目的在于提供一种事件触发调度系统和方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种事件触发调度的方法，包括如下步骤：

S1，判断当前执行作业是否执行成功，如果是，则转到S2，否则，继续执行；

S2，获取包括所述当前执行作业id和状态的待触发作业；

S3，获取所述待触发作业的每个状态的统计数，将所述当前执行作业状态的统计数增量加一并更新，得到待触发作业第一次更新后的每个状态的统计数；

S4，将待触发作业更新后的每个状态的统计数均减一并更新，得到待触发作业第二次更新后的每个状态的统计数；

S5，判断待触发作业第二次更新后的每个状态的统计数是否均大于等于0，如果是，则执行待触发作业；否则，转到S3。

进一步地，S1之前，还包括：获取所有作业流中所有作业子节点之间的依赖关系。

优选地，所述获取所有作业流中所有作业子节点之间的依赖关系之后，将依赖作业流存入redis中，则S2包括：

S201，获取当前执行作业的状态state；

S202，在redis中查找key为state的set集合；