[发明专利]一种作业调度方法和装置

说明书

技术领域

本发明涉及计算机网络技术领域，具体涉及一种作业调度方法和装置。

背景技术

云计算是一种通过计算机网络以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。云计算平台是提供存储和计算服务的云平台。

利用云计算平台提供的资源完成的计算通常称为作业。作业的种类可分为并行程序无通信类型，和并行程序有通信类型。

对于并行程序无通信类型，该作业的每个子任务可以在任何时候启动，不需要和其他子任务同时启动，因为子任务间不需通信，每个子任务处理完自己的计算就可以直接结束。因此云计算平台调度器可以在不同时间调度不同的子任务，处理这种调度需求的调度方式称为任务级调度。

对于并行程序有通信类型，该作业的每个子任务都需要互相通信，因此需要等全部子任务都启动以后，才能开始计算。也即需要云计算平台当前拥有能启动该作业的所有子任务的资源后，才能将这个作业启动，否则，需要等到其他作业计算完毕，释放出足够资源，才能启动该作业。处理这种调度需求的调度方式称为作业级调度。

Maui是一个广泛被使用的开源调度器，可以设置多种调度条件，常作为云计算平台的调度器。基于Maui的云计算平台是处理需要作业级调度的计算任务的。该平台最常用的作业级调度方法是先进先出法和带优先级的分组加权法。由于先进先出法很简单，优缺点也为人熟知，因此这里不赘述。下面重点讲述带优先级的分组加权法：

1.确定分组数目N，以及每组的权重Wi,其中i∈{1…N}；

2.将云计算平台的资源划分成N组，每组所占资源比例等于每组的权重的比例。每组最大可使用的资源不得超过根据其比例算出来的值；

3.提交作业时需要指定运行在哪个组中，并且该作业需要的资源不能超过该组的总资源，否则提交会失败；

4.提交计算作业时同时指定该作业的优先级，一般分为低、中、高三个优先级；

5.在同一个组内的作业，在有充足资源时，作业无论是哪个优先级，都会被立即调度运行；

6.若该组资源不充足，则会发生作业排队情况，作业的优先级在此时发挥作用。当有空闲资源时，先运行高优先级作业，其次中优先级，最后是低优先级。优先级相同的作业按排队时间先后来依次调度。

现有的这种带优先级的分组加权调度方法存在如下缺点：在同一个组中，出现排队的情况下，如果不停地有优先级比已排队列表中最低优先级的作业优先级高的作业提交，那么这些最低优先级的作业将会饿死，即永远得不到执行的机会。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种作业调度方法和装置。

依据本发明的一个方面，提供了一种作业调度方法，该方法包括：

将云计算平台的资源划分成N组，将提交的作业按照提交时的指定分配到对应的组中；其中N为自然数；每个作业在运行时利用对应组的资源；

对于每一组，

如果该组的资源能够满足提交到该组的全部作业的需求，则直接调度该组中的全部作业；

如果该组的资源不能够满足提交到该组的全部作业的需求，则将提交到该组的作业放入该组的队列中排队等候，并根据该组中各作业的优先级和排队等候时间进行调度。

可选地，所述根据该组中各作业的优先级和排队等候时间进行调度包括：

为该组中的各作业设置优先级权值，优先级越高，优先级权值越大；

为该组中的各作业设置等候时间权值，等候时间越长，等候时间权值越大；

优先级权值与等候时间权值的和为作业的综合权值；

优先调度该组中综合权值大的作业。

可选地，该方法进一步包括：对于每一组，

如果该组队列中存在预估运行时间不会将该组下一个需要调度的作业的运行时间推迟的作业，则优先调度该作业；

其中，作业的预估运行时间是在作业提交时便携带的。

可选地，该方法进一步包括：如果一个作业的运行时间超过了其预估运行时间，则结束该作业的运行。

可选地，该方法进一步包括：对于周期性的实时作业，在其周期性的执行时间窗为该作业预留所需资源；

如果在其周期性的执行时间窗内该周期性的实时作业没有启动，则不再为其预留所需资源。

依据本发明的另一方面，提供了一种作业调度装置，该装置包括：分组单元和按权值调度单元；