[发明专利]用于调度、执行的装置和方法以及分布式系统

说明书

本发明公开了一种用于调度、执行的装置和方法以及分布式系统，其中用于调度的装置包括：接收单元，配置为接收作业的任务；配置单元，配置为分别在至少两个资源维度上给所述任务配置资源量，其中，每个资源维度表示一种能用于配置的资源；以及接口单元，配置为分发所述任务及与给所述任务配置的各个资源维度上的资源量有关的信息。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种用于调度的装置和方法、 用于执行的装置和方法、以及分布式系统。

背景技术

在分布式系统中，采用多个节点设备执行作业。作业通常被切分为多个任 务以在各节点上并行执行。相应地，节点上可用于执行任务的资源通常在逻辑 上被划分为若干个相同的资源单位（也称为槽），每个空闲的资源单位可用于执 行一个任务。

通常，资源单位在分布式系统运行之前就被划分并固定。然而，划分好的 资源单位可能不适应于运行中的各种不同任务。例如，对于某些任务来说，划 分好的资源单位可能“过大”，导致执行该任务时资源单位中的部分资源闲置， 降低了资源的利用率。

对此，曾提出根据节点资源的利用状态动态地调整资源单位划分的份数（即 调整资源单位的大小），然而这一过程所带来的延迟（从测得节点资源状态，到 完成资源单位的重新划分）通常会影响分布式系统的性能，甚至对于某些作业 来说是不可接受的。

发明内容

本发明通过分别在至少两个资源维度上给任务配置资源量，能够提高资源 利用率。

本发明的第一方面提供了一种用于调度的装置，包括：接收单元，配置为 接收作业的任务；配置单元，配置为分别在至少两个资源维度上给所述任务配 置资源量，其中，每个资源维度表示一种能用于配置的资源；以及接口单元， 配置为分发所述任务及与给所述任务配置的各个资源维度上的资源量有关的信 息。

在一种可能的实施方式中,所述用于调度的装置还包括估计单元，配置为 估计所述任务分别对至少两个资源维度上的资源量的消耗；其中，所述配置单 元根据估计的结果分别在至少两个资源维度上给所述任务配置资源量。

在一种可能的实施方式中，所述估计单元根据历史信息来估计所述任务分 别对至少两个资源维度上的资源量的消耗。

在一种可能的实施方式中，所述估计单元根据抽样信息来估计所述任务分 别对至少两个资源维度上的资源量的消耗。

在一种可能的实施方式中，所述用于调度的装置还包括候选单元，配置为 分别从多个作业中选取任务作为候选任务，供所述接口单元分发。

在一种可能的实施方式中，所述用于调度的装置还包括生成单元，配置为 根据为各候选任务配置的各个资源维度上的资源量，生成各候选任务在所述接 口单元中的分发方案。

在一种可能的实施方式中，所述用于调度的装置还包括判断单元，配置为 估计假定经过预定延迟后所述生成单元生成的分发方案相对于所述生成单元当 前生成的分发方案的收益，并在所估计的收益优于所述预定延迟的代价的情况 下，指示所述生成单元经过所述预定延迟后再生成分发方案。

在一种可能的实施方式中，所述用于调度的装置包括在MapReduce装置中 的Map装置中。

在一种可能的实施方式中，所述用于调度的装置包括在MapReduce装置中 的Reduce装置中。

本发明的第二方面提供了一种用于调度的方法，包括：接收作业的任务； 分别在至少两个资源维度上给所述任务配置资源量，其中，每个资源维度表示 一种能用于配置的资源；以及分发所述任务及与给所述任务配置的各个资源维 度上的资源量有关的信息。

在一种可能的实施方式中，所述用于调度的方法还包括：估计所述任务分 别对至少两个资源维度上的资源量的消耗；其中，根据估计的结果分别在至少 两个资源维度上给所述任务配置资源量。