[发明专利]一种基于多租户分布式绩效系统的并行调度方案和系统

说明书

本发明公开了种基于多租户分布式绩效系统的并行调度方案，包括数据层、服务层和应用层，所述服务层包括基础服务组件和核心服务组件，所述应用层包括作业流的设计配置、监控、定时任务配置，以及对作业流的启动停止操作功能；本发明的有益效果是以有向无环图(DAG)的方式，支持作业的依赖关系配置，能开启并行处理，能同时支持多个作业同一时间的调用，根据服务器资源使用率判断是否启动作业，能支持多租户分布式的绩效系统。

技术领域

本发明属于金融信息化软件技术领域，具体涉及一种基于多租户分布式绩效系统的并行调度方案和系统。

背景技术

在系统数据的处理过程中，需要有多个作业去处理对应的内容，每个作业的处理内容都是各不尽相同的，如A作业负责加载数据，B作业负责处理数据等，多个作业之间往往有着强依赖关系，上游任务执行并成功，下游任务才可以执行，比如上游任务结束后拿到A结果，下游任务需结合A结果才能产出B结果，因此下游任务的开始一定是在上游任务成功运行拿到结果之后才可以开始，而为了保证数据处理结果的准确性，就必须要求这些任务按照上下游依赖关系有序、高效的执行，一个较为原始的处理方式是，预估出每个任务处理所需时间，根据先后顺序，计算出每个作业的执行的起止时间，通过定时任务的方式，让整个系统保持稳定的运行，一个完整的数据分析任务最少执行一次，在数据量较少，依赖关系较为简单的低频数据处理过程中，这种调度方式完全可以满足需求。

然而在企业级场景中，更多的是需要每天执行，如果任务数量较多，在任务启动的时间计算上就将耗费大量时间，另外如果出现上游任务执行时长超出原定预计时间或者运行异常的问题，上述的处理方式将完全无法应对，也会对人力物力造成重复损耗，因此对于企业数据处理过程来说，一个完整且高效的工作流调度系统将起到至关重要的作用，为此本发明提出一种基于多租户分布式绩效系统的并行调度方案和系统。

发明内容

本发明的目的在于提供一种基于多租户分布式绩效系统的并行调度方案和系统，以解决上述背景技术中提出的然而在企业级场景中，更多的是需要每天执行，如果任务数量较多，在任务启动的时间计算上就将耗费大量时间，另外如果出现上游任务执行时长超出原定预计时间或者运行异常的问题，上述的处理方式将完全无法应对，也会对人力物力造成重复损耗问题。

为实现上述目的，本发明提供如下技术方案：一种基于多租户分布式绩效系统的并行调度方案，包括数据层、服务层和应用层，所述服务层包括基础服务组件和核心服务组件，所述应用层包括作业流的设计配置、监控、定时任务配置，以及对作业流的启动停止操作功能。

优选的，所述基础服务组件包括图形draw组件和任务调度组件，所述图形draw组件主要提供图形界面，以画图的方式实现作业流的配置，包括作业节点的上下依赖配置以及作业节点的具体处理内容配置，所述任务调度组件主要是负责系统的作业调度控制以及调度的实现，主要包含作业分发服务(server)、代理服务(worker)两项内容，所述作业分发服务(server)和代理服务(worker)两项服务主要负责作业的分发与处理，两项服务互相协同工作，作业分发服务负责判断作业是否该启动，并将作业内容发送给worker；worker负责接收并处理分发服务发送的工作内容，并将作业状态通知分发服务，所述作业分发服务(server)与代理服务(worker)可部署在不同的机器上。

优选的，所述作业分发服务(server)与代理服务(worker)之间设置有处理流程，所述处理流程包括：

步骤1，启动作业流；

步骤2，判断作业流的当租户是否有作业流在执行，若有则不允许启动，若没有，则初始化作业流信息；

步骤3，将开始节点置完成；

步骤4，读取已完成节点的下一级作业，如果下一级作业为结束作业，则直接跳到第9步处理；