[发明专利]一种基于优先级的资源分配方法、装置和设备

说明书

本申请提供了一种基于优先级的资源分配方法，包括：接受作业提交的资源申请；根据资源申请的资源需求信息判断系统剩余资源是否满足资源申请，若不满足，则依序遍历作业优先级低于资源申请的已分配资源申请；将已遍历资源申请所占系统资源与系统剩余资源之和作为可用资源；每遍历一个已分配资源申请，判断可用资源是否满足资源申请，在可用资源满足资源申请时，停止遍历，将可用资源分配给资源申请；若可用资源分配给资源申请后还有第二剩余资源，则将第二剩余资源分配给已遍历资源申请，第二剩余资源是可用资源在分配给资源申请后剩下的系统资源。本申请的技术方案解决了高作业优先级的资源申请能够抢占低作业优先级资源申请的问题。

本申请是申请日为2016年6月13日，申请号为201610410884.7，发明名称为“一种基于优先级的资源分配方法、装置和设备”的中国专利申请的分案申请。

技术领域

本申请涉及计算机技术领域，具体涉及一种基于优先级的资源分配方法，相应于上述方法，本申请还涉及一种基于优先级的资源分配装置和设备。

背景技术

在分布式系统中，通常存在三个角色：资源调度器、作业管理器及下属作业节点、机器节点。当用户需要提交一个作业时，作业管理器会向资源调度器申请一定数量的机器资源，如CPU、内存等，供作业节点使用；资源调度器在收到作业资源申请后，会根据分布式系统中剩余的可用资源计算出可以分配给作业管理器可用资源列表，例如：在A机器上可用1核CPU、1GB内存，在B机器上可用2核CPU、2GB内存；然后，资源调度器会将资源列表发送给作业管理器和相应机器节点。

在一个分布式系统中，会有成千上万的作业管理器，通常这些作业管理器的资源申请的作业优先级是不一样的：有些作业管理器的资源申请作业优先级较高，需要资源调度器优先为其分配资源；有些作业管理器的资源申请作业优先级较低，表明可以容忍资源调度器优先为其他高作业优先级的资源申请分配资源。在分布式系统中经常会出现集群整体资源耗尽导致资源申请排队的情况。一种常见的方案是将请求按照优先级进行排队，然后周期性的从队列中取出资源请求重新提交，如图1所示，在等待队列中，高作业优先级的资源请求会排在前面，低优先级的资源请求会排在后面。

然而，以上方法无法解决如下问题：在集群资源整体耗尽的情况下资源调度器接收到了一个优先级非常高的资源请求，这个资源请求需要立即得到资源；然而所有已经得到满足的资源申请还需要执行相当长一段时间，所以即便这个资源申请的作业优先级很高，也不得不等待其他低作业优先级的资源申请在归还资源后才能被分配资源。在这种场合下，资源调度器需要支持高作业优先级的资源申请能够获取低作业优先级资源申请已经得到的资源。

发明内容

本申请提供一种基于优先级的资源分配方法，解决了高作业优先级的资源申请能够抢占低作业优先级资源申请的问题，可以使系统资源获得有效利用。

本申请提供一种基于优先级的资源分配方法，包括：

接受作业提交的资源申请，所述资源申请包括资源需求信息和作业优先级信息；

根据所述资源申请的资源需求信息判断系统剩余资源是否满足所述资源申请，在所述剩余资源不满足所述资源申请时，在所述已分配资源申请队列中依序遍历作业优先级低于所述资源申请的已分配资源申请；所述已分配资源申请是已完全或部分分配到资源的资源申请；

所有已遍历到的所述已分配资源申请组成已遍历资源申请，将所有所述已遍历资源申请所占用的系统资源之和并加上所述剩余资源，作为可用资源；

每遍历一个所述已分配资源申请，判断所述可用资源是否满足所述资源申请，在所述可用资源满足所述资源申请时，停止遍历，将所述可用资源分配给所述资源申请。

可选的，在所述根据所述资源申请的资源需求信息判断系统剩余资源是否满足所述资源申请的过程中，若所述剩余资源满足所述资源申请，则根据所述资源申请的资源需求信息为所述作业分配相应的资源；并将所述资源申请作为所述已分配资源申请记入所述已分配资源申请队列。