[发明专利]一种任务调度的灵活资源限制方法

说明书

本发明提供一种任务调度的灵活资源限制方法，使用内存数据结构实现任务调度，具体包括以下步骤：S1：内存数据初始化：为配置的每个限制定义在内存里生成一个数据结构，并建立账户哈希表；S2：调度任务前，检查每个限制定义里的相关账户，是否满额：如果未满，则执行步骤S3，若已经满额，则执行步骤S5；S3：调度任务，更新每个限制定义里的相关账户；S4：任务结束，更新每个限制定义里的相关账户；S5：满额则标记该任务不符合限制定义，调度下一个任务。本方法能够实现高速、高吞吐任务调度，能够无限灵活的限制定义满足生产环境的各种需求。

技术领域

本发明涉及一种高性能计算资源和任务调度系统的调度方法，尤其是涉 及一种属于分布式计算基础的任务调度的灵活资源限制方法。

背景技术

以下是本发明中涉及领域的相关内容描述：

一、高性能计算和大数据任务调度系统

高性能计算和大数据都属于分布式计算系统，即整个系统由多台服务器 组成集群，计算和数据任务分发到每个服务器上运行。

资源和任务调度系统是分布式计算系统的关键技术。用户的计算任务都 是通过资源和任务调度系统来运行的，而不是通过直接访问某台服务器来运 行。

任务是指一段有始有终的计算。用户把多个任务递交到队列中。调度器 从队列中读取任务定义，根据资源的可用性(即主机工作正常)、已经分配 的情况、和调度策略定义为任务分配资源。

高性能计算和大数据的环境中通常所有任务所需资源的总和大于系统 可用资源。为了防止某个用户或组织独占整个资源池，需要在调度时设置资 源限制。

二、资源限制维度及需求

任务调度器的资源调度是多个维度的，如：主机、队列、用户、项目、 应用等，而限制的单元也可是：任务、CPU核数、内存、GPU个数、其他 资源使用等。各个维度里也需要支持各个单位或一组单位，如对主机的限制， 需要支持每个主机上的限制，还是一组主机上的限制。

另外限制还需要可以定义有效的时间窗，如每周一到五8:00-17:00有效 等。

例子：(1)一组用户(包含多个用户)在队列q1里，主机host1和host2 上每个主机上的作业数不能超过2个，内存不能超过100GB。

(2)所有用户在所有队列中不能使用应用Fluent时每个用户最多只能用 2个GPU。

通过以上例子可以看到，这种限制的组合必须非常灵活，只要是调度器 里支持的维度和资源，应该可以定义多维度的任意组合。

考虑调度器需要提供高吞吐量的作业调度，而每个作业调度时必须检查 是否受制于定义的资源限制，资源限制的方法不能依赖于数据库，以避免性 能问题。

三、现有技术

目前超算环境中常用的调度软件SLURM或PBS对资源限制局限在有限 的维度上，不能定义任意维度组合限制，或者依赖于关系型数据库，如 mariaDB，mySQL等，达不到调度器所需的性能。

例子：Slurm Workload Manager-Resource Limits(schedmd.com)。

发明内容

本发明提供了一种任务调度的灵活资源限制方法，是一种不依赖于数据 库的任务调度灵活多维度、多组合资源限制方法，解决了任务调度的资源限 制问题，其技术方案如下所述：

一种任务调度的灵活资源限制方法，本方法使用内存数据结构实现任务 调度，具体包括以下步骤：

S1：内存数据初始化：为配置的每个限制定义在内存里生成一个数据结 构，并建立账户哈希表；