[发明专利]一种作业调度的方法及装置

说明书

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种作业调度的方法及装置。

背景技术

现有的大数据或分布式计算系统，其作业调度均使用简单的队列机制，缺 乏对于不同作业不同服务等级协议(SLA)的保障。

目前的大数据或分布式计算的作业调度，一般采用以下几种队列机制：

1、单队列方式

(1)先进先出的队列：即各种作业按照申请资源的时间顺序无差别地排 队，作业调度器按照作业的排队顺序分配资源。

(2)最早完成时间的排队策略：按照各个作业预估的执行时间，对比空 闲资源的情况，选取执行时间最短的作业优先执行。

2、固定多队列方式：

即分成多个作业队列和多个固定的资源队列，实现不同等级的任务之间互 相隔离资源。

然而，现有的大数据或分布式计算系统作业调度方法，无法满足并 发多作业多SLA情况下的调度需求，如：

1、低优先级作业正在运行时，新来的高优先级作业抢占现有作业的 资源运行；

2、资源争抢发生时，作业最小资源额度得不到保障；

3、多个资源队列之间，利用率不均衡时的资源浪费。

发明内容

本发明要解决的技术问题是提供一种作业调度的方法及装置，能够解决多 种作业实体并发执行的情况下，实现不同作业实体的SLA保障，包括不同优 先级作业实体之间和相同优先级作业实体之间的资源分配，并且实现资源共享 和有序保障之间的平衡，既能够保障每个作业的服务等级协议，又能够提高整 个集群资源的利用率。

为了解决上述技术问题，本发明采用如下技术方案：

依据本发明的一个方面，提供了一种作业调度的方法，包括：

获取作业实体携带的作业实体的优先级信息以及作业实体所需的最小资 源数量；

根据作业实体的优先级信息，将优先级相同的多个作业实体划分入同一作 业队列，得到至少一个作业队列；

若每一个作业队列中的所述作业实体被分配的资源数量小于该作业实体 所需的最小资源数量时，获取资源队列中可用的资源，并分配给所述作业实体。

其中，若每一个作业队列中的所述作业实体被分配的资源数量小于该作业 实体所需的最小资源数量时，获取资源队列中可用的资源，并分配给所述作业 实体的步骤包括：

按照所述队列的优先级顺序，为每一个作业队列分配预设数量的资源，其 中所述资源为至少一个资源队列中的可用资源；

将分配给每一个作业队列的资源分配给该作业队列中的作业实体；

若所述作业实体被分配的资源数量小于该作业实体所需的最小资源数量 时，获取其他资源队列中可用的资源，并分配给所述作业实体。

其中，将分配给每一个作业队列的资源分配给该作业队列中的作业实体的 步骤包括：

扫描所述作业队列中的每一个作业实体，获得未分配资源的作业实体；

计算所有未分配资源的作业实体所需的最小资源数量之和；

从分配给该作业队列的资源中，获取所述作业队列对应的可用资源数量；

比较所述作业实体所需的最小资源数量之和与所述作业队列对应的可用 资源数量的大小，得出比较结果；

根据所述比较结果，为所述作业实体分配资源。

其中，根据所述比较结果，为所述作业实体分配资源的步骤包括：

当所需的最小资源数量之和小于所述作业队列对应的可用资源数量时，为 所述未分配资源的作业实体分配该作业实体所需的最小资源，并将剩余资源按 照作业实体提交的时间顺序分配给所述未分配资源的作业实体。

其中，根据所述比较结果，为所述作业实体分配资源的步骤包括：

当所需的最小资源数量大于或等于所述作业队列对应的可用资源数量时， 按所述作业实体提交的时间顺序，为所述未分配资源的作业实体分配该作业实 体所需的最小资源。

其中，若所述作业实体被分配的资源数量小于该作业实体所需的最小资源 数量时，获取其他资源队列中可用的资源，并分配给所述作业实体的步骤包括：

获取所述作业实体的最大允许执行时间；