[发明专利]一种基于节能树的大规模计算集群任务调度方法

权利要求书

1.一种基于节能树的大规模计算集群任务调度方法，所述大规模计算集群包括一个管理节点和多个数据节点，管理节点将用户提交的任务分割为多个大小相同的子任务，并为每一个子任务分配相应的数据节点；其特征在于，管理节点为子任务分配相应的数据节点，其分配策略具体按照以下方法得到：

步骤A、构建一颗完全二叉树，以所有具有额外计算能力的活跃态数据节点作为该二叉树的叶结点；

步骤B、对所有叶结点进行两两比较，分别选出其中的较节能者作为二叉树的上一层非叶结点；

步骤C、对所述上一层非叶结点再进行两两比较，分别选出其中的较节能者作为二叉树的再上一层非叶结点；依此类推，直到选出二叉树的根结点为止，管理节点将该根结点所对应的数据节点作为当前子任务拟分配的数据节点；

步骤D、更新数据节点的数据；

步骤E、对于剩余的未分配的子任务，依次重复执行步骤B-步骤D，直至为所有子任务找到拟分配的数据节点，从而得到最终的分配策略。

2.如权利要求1所述基于节能树的大规模计算集群任务调度方法，其特征在于，在步骤E中，如具有额外计算能力的活跃态数据节点数量不足时，则执行以下步骤：

步骤1、假设存在L个子任务未找到拟分配的数据节点，选择L个休眠态数据节点，作为一颗完全二叉树的叶结点；

步骤2、对所有叶结点进行两两比较，分别选出其中的较节能者作为二叉树的上一层非叶结点；

步骤3、对所述上一层非叶结点再进行两两比较，分别选出其中的较节能者作为二叉树的再上一层非叶结点；依此类推，直到选出二叉树的根结点为止，管理节点将该根结点所对应的数据节点作为当前子任务拟分配的数据节点；

步骤4、更新数据节点的数据；

步骤5、对于剩余未分配的子任务，依次重复执行步骤2-步骤4，直至为所有L个子任务找到拟分配的数据节点； 

步骤6、设L个子任务完成分配后，所述L个休眠态数据节点中有K个未部署任务，则激活L-K个休眠态数据节点后转至步骤A。

3.如权利要求2所述基于节能树的大规模计算集群任务调度方法，其特征在于，从两个节点DN_A、DN_B中选出其中的较节能者，具体按照以下方法：

假设使所述大规模计算集群达到最优资源配置时的单个数据节点的CPU利用率、磁盘传输速率分别为ORORU.CPU和ORORU.DIO，节点DN_A当前的CPU利用率、磁盘传输速率分别为DN_A.CPU、DN_A.DIO，节点DN_B当前的CPU利用率、磁盘传输速率分别为DN_B.CPU、DN_B.DIO，执行当前子任务所需的CPU利用率、磁盘传输速率分别为Task.CPU、Task.DIO；分别计算数组（（DN_A.CPU+Task.CPU），（DN_A.DIO+ Task.DIO））、（（DN_B.CPU+Task.CPU），（DN_B.DIO+ Task.DIO））、（DN_A.CPU，DN_A.DIO）、（DN_B.CPU，DN_B.DIO）与数组（ORORU.CPU，ORORU.DIO）之间的欧氏距离ED1、ED2、ED3、ED4；如ED1与ED4之和大于ED2与ED3之和，则节点DN_A为较节能者；否则，节点DN_B为较节能者。

4.如权利要求1-3任一项所述基于节能树的大规模计算集群任务调度方法，其特征在于，如同时存在多个任务需要调度，则管理节点首先按照各任务的任务比较系数从大到小的顺序对多个任务进行排序，然后依次进行子任务分割及子任务分配；所述任务的任务比较系数按照下式得到：

  

式中，表示第i个任务的任务比较系数，分别为执行第i个任务所需的CPU利用率、磁盘传输速率，ORORU.CPU、ORORU.DIO分别为使所述大规模计算集群达到最优资源配置时的单个数据节点的CPU利用率、磁盘传输速率。

5.如权利要求4所述基于节能树的大规模计算集群任务调度方法，其特征在于，按照以下方法对多个任务进行排序：

步骤1、构建一颗完全二叉树，以待排序的所有任务作为一颗完全二叉树的叶结点；

步骤2、对所有叶结点进行两两比较，分别选出其中的任务比较系数较大者作为二叉树的上一层非叶结点；

步骤3、对所述上一层非叶结点再进行两两比较，分别选出其中的任务比较系数较大者作为二叉树的再上一层非叶结点；依此类推，直到选出二叉树的根结点为止；记录该根结点所对应的任务；

步骤4、将选出的根结点从二叉树中删除；

步骤5、重复执行步骤2-步骤4，直至所有任务均完成选择；按照被选作为根结点的从前到后的次序对所有任务进行排序。