[发明专利]一种自适应的和规则制导的分布式调度方法

说明书

一种自适应的和规则制导的分布式调度方法，该方法在集群中设置了调度服务器和与计算节点一一对应的资源代理，调度服务器对调度规则进行增加、删除、修改和查看、对调度规则进行解释、生成调度决策并将调度决策发送至对应的资源代理以及接收资源代理发送的作业状态报告并更新作业表。资源代理接收调度决策、根据调度决策对作业进行启动、暂停、恢复及停止操作以及监控对应计算节点上各个作业的进度状态和资源占用状态并生成作业状态报告。本发明大大减少了系统部署时所需的配置工作量，可在不修改调度系统源码、不开发任何插件的情况下随时调整系统的调度策略，甚至可以实现多种调度策略同时共存，大大提高了系统对不同应用场景的适应性。

技术领域

本发明涉及集群管理和高性能计算领域，具体而言，涉及一种自适应的和规则制导的分布式调度方法。

背景技术

在高性能计算领域，调度系统是一种基础软件。调度系统的核心功能是管理集群计算资源，按照一定算法决定各个排队作业的启动顺序，并为每个作业分配运行节点，同时监控各个已启动作业的运行状况，在必要时进行动态负载均衡，或者重启运行失败的作业。

调度系统的关键技术是调度策略，即如何决定各个排队作业投入运行的顺序，以及如何为每个作业分配最佳的运行节点。调度策略对集群的吞吐率、资源利用率和功耗都有重要影响。在不同应用场景下，所需要的调度策略也不相同，例如，在科学计算领域，需要在尽可能短的时间内完成所有作业；在商用领域，需要以尽可能低的功耗完成所有作业。近年来，随着集群规模的扩大，调度系统在资源管理方面的便利性也变得越来越重要，人们希望在系统初始配置时减少手工操作，也希望在系统缩扩容时能够自动适应。

SLURM是世界上60％以上的超算中心都在使用的集群管理和作业调度系统。SLURM具有三个核心功能，一是，它为用户分配独占或非独占的资源(计算节点)以供用户运行自己的计算任务；二是，它提供了一套在所分配节点上启动、运行、监控用户作业的框架；三是，它提供了一套排队作业对资源争用的仲裁机制。SLURM还可以通过插件形式扩展自身功能，例如记账、资源预留、回填调度、资源配额、多因素作业优先级计算等等。

SLURM的整体架构如图1所示。SLURM有一个中央管理器(slurmctld)，用于监控资源和作业。还存在一个备份的管理器，以便在中央管理器失效时接管它的工作。在每个计算节点上运行有一个slurmd守护进程，它等待中央管理器给它分配作业，运行分配给它的作业，并监控作业的状态，然后等待更多的作业。用户使用一组工具程序与SLURM交互，这组工具程序包括：用于提交作业的srun程序，用于终止作业的scancel程序，用来报告系统状态的sinfo程序，用来报告作业状态的squeue程序，等等。

SLURM的缺点主要有两个：

首先，SLURM通过配置文件的方式配置所有计算节点，当计算节点数量较多时，需要进行大量的手工配置工作，此外，当集群中增减节点时，也需要手工调整配置文件。

其次，SLURM使用基于希尔伯特曲线调度或胖树网络拓扑的最佳拟合算法来优化并行计算机上任务分配的局部性，调度策略较为单一，不能适应复杂应用场景下多样化的调度需求。

发明内容

本发明提供一种自适应的和规则制导的分布式调度方法，用以克服上述现有技术中存在的至少一个问题。

为达到上述目的，本发明提供了一种自适应的和规则制导的分布式调度方法，其包括以下步骤：

在集群中设置一调度服务器；

统计集群内的计算节点，为每一计算节点分别设置一与之对应的资源代理；

启动调度服务器，初始化生成一个资源表和一个作业表，此时资源表和作业表均为空；

资源代理分别收集对应计算节点的配置信息和性能指标数据，形成资源注册请求并将其发送给调度服务器，其中，资源注册请求包括初始资源注册请求和定期资源注册请求；