[发明专利]工作流作业调度控制方法

说明书

本发明提供的一种工作流作业调度控制方法，包括以下步骤：遍历作业控制模块的工作流中所有的作业，并记录每个作业的前驱依赖作业个数及其作业号；从工作流中确定出可执行的作业；确定可执行的作业的优先级，并将可执行作业及其优先级发送至作业控制队列中；作业控制队列根据作业的优先级将作业划分在不同的优先级等级，在每一个优先级等级中，由高优先级等级到低优先级等级执行被选定的作业，通过本发明，能够对工作流中的作业的执行优先级进行动态的调整，而且相同优先级中对各作业执行顺序进行动态调整，从而能够有有效提高作业的服务质量，而且能够提高资源利用率并减少作业的总体完成时间。

技术领域

本发明涉及计算机领域，尤其涉及一种工作流作业调度控制方法。

背景技术

科学计算、深度学习、大数据作业已经成为数据中心和云计算中心中最常见的作业类型。现有的数据中心和云计算中心，不仅在作业类型方面具有多样化，同时硬件资源也开始向多样化、异构化的方向发展。机器资源除了常见的X86 CPU、GPU之外，还有针对深度学习作业训练的NPU(如：针对深度学习模型推理的AI芯片)，各种具有专用功能的FPGA芯片，开源的Arm、MIPS、RISK-V处理器等。而让不同类型的异构计算资源上云，成为了解决作业负载多样性和计算资源异构性的最好选择。现有的容器编排管理系统(如：Kubernetes)成为了运行和管理容器作业的重要核心。容器编排管理系统不仅满足了多样化作业负载提供了统一的运行环境，同时对应用开发者屏蔽了硬件的差别。应用开发者可以只关注应用的开发过程，而无需关心系统环境配置维护。而系统研发工作者无需对各种应用提供兼容性支持，只需要对Kubernetes统一的应用运行环境—容器进行兼容性适配即可。

但是容器编排管理系统对科学计算、深度学习、大数据作业的支持依然不够理想。这是因为现有的通用的容器编排管理系统，最初是面向无状态web服务。针对科学计算、深度学习、大数据作业以及缓存、数据库等有状态服务的支持存在不足。通常一个深度学习作业会有多个步骤，如：数据采集、数据处理、数据转化、数据分割、模型训练、参数调优、模型验证、模型上线、监控、日志采集。但是，在具有“工作流”特征负载中，每个步骤在执行前，需要等待前一个步骤执行完成后才能执行。

然而目前容器编排管理系统中的作业调度器，依然是采用先来先服务的调度策略，无法满足“工作流”类型作业负载的负载特征。举例来讲，在多租户场景下，多个用户提交了多个工作流作业。后面提交的工作流作业就会被长时间延误，而每个工作流的服务质量也无法得到保证。

因此，为了解决上述技术问题，亟需提出一种新的技术手段加以解决。

发明内容

有鉴于此，本发明的目的是提供一种工作流作业调度控制方法，能够对工作流中的作业的执行优先级进行动态的调整，而且相同优先级中对各作业执行顺序进行动态调整，从而能够有有效提高作业的服务质量，而且能够提高资源利用率并减少作业的总体完成时间。

本发明提供的一种工作流作业调度控制方法，包括以下步骤：

S1.遍历作业控制模块的工作流中所有的作业，并记录每个作业的前驱依赖作业个数及其作业号；

S2.从工作流中确定出可执行的作业；

S3.确定可执行的作业的优先级，并将可执行作业及其优先级发送至作业控制队列中；

S4.作业控制队列根据作业的优先级将作业划分在不同的优先级等级，在每一个优先级等级中，由高优先级等级到低优先级等级执行被选定的作业。

进一步，步骤S2中，工作流中可执行的作业确定过程如下：

S21.根据作业i的作业号判断作业i是否为本工作流的作业，如是，则进入下一步，如否，则结束；