[发明专利]一种资源分配方法及装置

说明书

本申请公开了一种资源调度方法及装置，用以解决现有技术中存在资源使用率低的问题。该方法包括：资源调度器确定第i个用户的主导份额，并确定第a个节点的主导空闲资源；然后从N个用户中选择主导份额最小的第一用户，并从所述第一用户的未分配资源的任务中选择第一任务；并根据M个节点的主导空闲资源，从所述M个节点中选择第一节点；其中，选择的第一节点的主导空闲资源与选择的第一用户的主导份额对应的资源相同；最后所述资源调度器将选择的第一节点中的资源，调度给选择的所述第一用户，以使所述第一用户使用调度的资源来执行选择的所述第一任务。

技术领域

本申请涉及信息技术领域，尤其涉及一种资源分配方法及装置。

背景技术

大规模数据的处理对计算机性能和计算资源的要求越来越高，为了高效处理大规模数据，各种分布式计算框架如hadoop、spark等，以及分布式资源统一管理与调度平台如mesos、yarn逐渐发展起来。

支持多用户公平且节点间负载均衡的资源分配是分布式计算框架以及分布式资源统一管理与调度平台的核心。

在支持用户公平的资源分配时，现有技术方案是采用主导资源公平(英文：Dominant Resource Fairness，简称：DRF)算法，该算法的主要思想是在多维度资源环境下，一个用户的资源分配应该由用户的主导份额(dominant share)决定，主导份额是在所有已经分配给用户的多种资源中，占据总资源的最大值，该最大值对应的资源为主导资源。DRF算法的主旨是试图最大化所有用户中最小的主导资源或尽可能使不同用户的主导资源相等。

DRF算法进行资源分配的具体步骤：

步骤1，计算当前已分配给第i个用户的每种资源的占用率(share)，选择占用率中的最大值为第i个用户的主导份额s_i：

其中，u_ij表示用户i对资源j的占用量，r_j表示资源j的可分配资源总量，m表示资源总类型数。可分配资源总量即为接收到调度请求时，分布式系统中可分配给用户的资源总量。

步骤2，每次从拥有最低的主导份额的用户中选择一个任务，若系统中有足够的可用资源则为该选择的任务分配资源，启动该选择的任务执行。

步骤3，重复第一步和第二步，直到不存在可用资源或不存在需要执行的任务。

在支持节点间负载均衡的资源分配时，现有技术方案是基于任务个数实现节点间负载均衡。节点间负载均衡方案常用的包括三种方案：轮询方式、最小连接数方式以及随机方式。轮询方式是将多个任务，依次轮询分配到多个节点上。最小连接数方式是统计每个节点当前处理的任务数，每次为当前处理任务数最少的节点分配任务。随机方式是指采用一个随机数生成器，每次分配任务时，将随机数生成器生成的数据作为当前选择的节点号，并为节点号对应的节点进行任务分配。

综上，现有技术中提供的方案中，将用户公平和节点负载均衡两个维度分开考虑，忽略了用户公平与节点负载均衡之间的相关性，从而导致资源使用效率低。

发明内容

本申请提供一种资源调度方法及装置，用以解决现有技术中存在资源使用率低的问题。

第一方面，本申请提供了一种资源调度方法，所述方法用于为分布式系统的N个用户的任务分配资源，该方法包括：

所述资源调度器从所述N个用户中选择主导份额最小的第一用户，其中，所述主导份额为一个用户占用的资源的资源占用率的最大值，所述资源占用率为一项资源被所述用户占用的数量与所述资源的可分配资源总量的比值；所述N为大于1的正整数；

所述资源调度器从所述第一用户的未被分配资源的任务中选择第一任务；