[发明专利]多核集群服务器上基于依赖度的并行任务分组调度方法

说明书

技术领域

本发明属于高性能计算领域，具体涉及到集群服务器上操作系统中多个任务的并行调度方法，即将多个可以并行的任务分配到多个处理器执行，从而使得所有任务的总体执行时间或使用的处理器个数满足要求。

背景技术

随着高性能计算机的快速发展，大型多处理器集群系统的能耗越来越多，高效节能已经成为高性能计算必须考虑的重要因素之一。集群系统往往由数百至数万个计算节点组成，每个节点中包括多个同构多核处理器。集群系统能够同时运行多个应用程序，向多个用户提供服务。如何通过调度的方法加快应用程序运行速度、减少系统总能耗，已经成为高性能计算必须解决的问题之一。

集群系统中并行任务节能调度问题是为系统中每一个待执行的并行任务分配处理器等执行资源，并指定占用这些资源的起止时间，在满足任务间依赖关系的前提下，使得所有任务能够较早完成，并且总能量消耗尽量少。与传统的并行调度相比，并行任务节能调度的主要目标不仅是减少所有任务总体完成时间，更要求尽量减少使用资源数目和资源的占用时间，提高资源利用率，达到整个集群系统中性能（任务总体完成时间）和能耗之间的平衡。

并行任务在多处理器上的最优调度问题已经证明是NP难的，不存在多项式时间的调度算法。国内外的学者一般采用启发式算法生成调度方案，在减少所有任务完成时间的同时降低系统能耗。带依赖关系的并行任务可以抽象成一个由多个定点构成的有向无环图（DAG图），其中顶点表示任务，顶点内部的数字表示任务编号，顶点周围的数字表示任务执行时间；有向边表示任务之间的依赖关系（数据传递方向）。如果具有依赖关系的两个任务不在一个处理器上执行，前一个任务完成后需要向后一个任务传送数据，这需要一定的传输耗时。有向边上的数值即表示数据传输耗时。如果具有依赖关系的两个任务在一个处理器上执行（无论是否在同一个内核上），这种数据传输耗时相对于处理器之间的传输耗时可以忽略不计，即认为此时的传输耗时等于0。

已有的任务复制调度策略TDS（Task Duplication Scheduling）按照DAG图的拓扑结构生成多条任务执行路径，每条执行路径上的所有任务分为一组，分配到一个处理器上执行，通过在多个处理器上复制执行部分前驱任务，避免前驱任务的数据传输耗时，从而缩短所有任务的总体执行时间。但是，任务复制执行的方法在减少任务总体完成时间的同时，不可避免的带来了能耗增加问题。为此，有人在TDS的基础上，提出了两种非抢占式离线节能调度算法—能量敏感复制调度EAD(Energy-Aware Duplication)调度和性能能量均衡复制调度PEBD(Performance-Energy Balanced Duplication)调度，通过设置任务能量阈值和能量/时间比阈值，减少不必要任务的复制次数，从而降低系统的总体能量开销。但是TDS、EAD和PEBD都存在处理器负载不平衡，平均利用率较低的问题。而且已有方法只是针对单核处理器上的考虑任务复制的节能调度算法。目前，还没有同构多核处理器上考虑任务复制执行的节能调度算法。

发明内容

为解决现有调度技术无法实现同构多核处理器上考虑任务复制情况的并行节能调度问题，本发明提供了一种同构多核集群服务器中基于任务依赖度的并行任务分组调度方法。

本发明采用的技术方案如下：

多核集群服务器上基于依赖度的并行任务分组调度方法，包括以下步骤：

步骤（1）根据任务执行参数和依赖关系得到初始执行路径；然后，计算每条初始执行路径的负载，按照负载从大到小的顺序对初始执行路径进行排序；

步骤（2）根据给定的处理器个数，按照依赖关系安排初始执行路径运行位置，即按照初始执行路径之间的依赖关系，将两条或多条依赖度大的初始执行路径安排在同一个处理器上，组成一条优化后的执行路径；

步骤（3）将处理器使用个数减1，并按照步骤（2）安排所有N条初始执行路径的运行位置，寻找其它可选调度方案；

步骤（4）不断执行步骤（3），直到调度方案的完成时间超过允许的总体完成时间为止。在所有的可选调度方案列表中，选择完成时间小于或等于总体完成时间约束的、节约能耗最多的一组调度方案作为最终调度。

所述的步骤（1）的具体步骤如下：

（1-1）计算各个任务的执行参数，包括最优前驱任务、任务在依赖关系图中的高度；

（1-2）利用计算出来的执行参数，根据已有的任务复制调度算法，生成初始执行路径，并假设初始执行路径有N条（N≤总内核数），所述的总内核数是指给定的处理器的内核数之和；