[发明专利]一种基于节点状态反馈的节点任务槽动态调整方法

说明书

技术领域

本发明涉及一种集群中计算节点任务槽动态调整的方法，具体涉及一种基于节点状态反馈的节点任务槽动态调整的方法，属于计算机技术领域。

背景技术

在分布式计算集群上运行的计算机程序称为分布式计算程序，一个运行中的分布式计算程序称为一个分布式计算作业。通常，一个分布式计算作业可划分为若干个子任务。在主从架构的分布式计算框架中，主节点负责接收、初始化作业并生成若干个子任务，再由子节点处理每个子任务。

一个子节点可以同时执行作业的多个子任务，子节点可以同时执行的子任务的数量称作该节点的任务槽的大小，因此子任务在子节点上执行的并行粒度是由子节点的任务槽决定的。

目前，在主流的分布式计算模式(如MapReduce)中，作业提交后由主节点划分为若干子任务，然后分配给子节点。其中存在的不足之处是，子节点的最大任务槽数(以下简称MTS：Maximum Task Slot)在分布式计算集群处理作业时不可变，其配置也不能真正反映子节点的处理能力。若MTS设置较大，子节点上并行执行任务的任务数比较多，势必会造成节点资源竞争激烈，任务无法得到最优的执行进度保障；若MTS设置较小，则可能造成子节点资源得不到充分利用，造成资源浪费。

如果在任务执行过程中，可以根据子节点的实时负载状态信息动态调整MTS的大小，那么就会避免上述问题，既可以减少子节点上多个任务对于子节点资源的竞争，又可以使子节点资源得到较充分的利用。

发明内容

本发明的目的在于提供一种基于节点状态反馈的节点任务槽动态调整方法。它首先考虑收集并分析子节点实时负载状态等相关信息，然后根据分析结果调整子节点的MTS，以此达到子节点资源得到充分合理地利用。

本发明一种基于节点状态反馈的节点任务槽动态调整方法，其技术方案如下：

首先，变量定义如下：

将子节点负载值workload的取值范围[0，1]划分为三个区间：轻载区、适载区和重载区，如图1所示。图中，LL(lower limit)表示适载下限值，UL(upper limit)表示适载上限值。由于集群初始化时对节点负载情况不了解，所以初始设置LL＝33％、UL＝66％，即将负载取值范围平均划分。然后在作业运行过程中动态调整LL、UL。但是调整后的LL和UL必须有一定的范围。我们将LL限定在[20％，33％]，UL限定在[65％，90％]。

节点处理数据的吞吐率ntr(node throughputrate)为单位时间内节点上所有任务处理的数据量。由公式(1)得出。

ntr=ΔsΔt---(1)]]>

子节点处理数据的加速比nsr(node speed-up ratio)为MTS调整后的节点处理数据的吞吐率ntr与MTS调整前的ntr的比值，nsr初始化为1。

为了实现上述目的，本发明技术方案主要包括以下步骤：

步骤1.通过节点负载检测模块对分布式计算集群子节点进行负载检测与收集。得到子节点的负载值workload。

步骤2.通过节点任务状态检测模块对分布式计算作业运行中的任务的状态进行监控与收集。主要获取子节点的任务进度信息，包括子节点的ntr和nsr。

步骤3.将步骤1收集的节点负载状态和步骤2收集的节点任务状态封装在一起，组成心跳信息。由子节点每隔一段时间发起的心跳通信，将心跳信息传输到主节点。

步骤4.主节点监听所有子节点发起的心跳通信。当有子节点发起心跳通信时，主节点读取子节点传输过来的心跳信息。

步骤5.主节点读取子节点心跳信息中的负载值workload作为该子节点最新的负载大小，计算所有子节点最新的负载大小均值workload_avg，然后按公式(2)调整LL和UL。当LL或UL超出其限定范围时，按公式(3)调整。