[发明专利]Reduce任务的调度方法及装置

权利要求书

1.一种Reduce任务的调度方法，其特征在于，所述方法包括：

当请求节点申请Reduce任务时，确定各未被调度的Reduce任务的数据本地性衡量值；

选取数据本地性衡量值最小的Reduce任务，并确定选取的Reduce任务是否满足调度条件；

若满足，则将所述选取的Reduce任务分配给所述请求节点。

2.根据权利要求1所述的方法，其特征在于，所述确定选取的Reduce任务是否满足调度条件的步骤，包括：

比较所述选取的Reduce任务的数据本地性衡量值与所述选取的Reduce任务的等待次数对应的阈值；

若所述数据本地性衡量值小于或等于所述阈值，则确定所述选取的Reduce任务满足调度条件。

3.根据权利要求1或2所述的方法，其特征在于，在所述将所述选取的Reduce任务分配给所述请求节点的步骤之后，还包括：

将所述选取的Reduce任务的等待次数置为0。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

若不满足，则将所述选取的Reduce任务的等待次数加1。

5.根据权利要求1所述的方法，其特征在于，所述确定各未被调度的Reduce任务的数据本地性衡量值的步骤，包括：

针对每个未被调度的Reduce任务，分别计算所述未被调度的Reduce任务的输入数据在其他各节点中的数据比例，以及分别计算所述请求节点与其他各节点之间的拓扑距离；

分别计算对应于同一节点的数据比例与拓扑距离的乘积，并确定所述乘积的累积和为所述未被调度的Reduce任务的数据本地性衡量值。

6.根据权利要求1或5所述的方法，其特征在于，在所述确定各未被调度的Reduce任务的数据本地性衡量值的步骤之前，还包括：确定不同节点之间的拓扑距离。

7.根据权利要求6所述的方法，其特征在于，所述确定不同节点之间的拓扑距离的步骤，包括：

确定属于同一机架的不同节点之间的拓扑距离为第一预设值；

确定属于不同机架但属于同一数据中心的节点之间的拓扑距离为第二预设值；

确定属于不同数据中心的节点之间的拓扑距离为第三预设值；

其中，所述第一预设值小于所述第二预设值，所述第二预设值小于所述第三预设值。

8.一种Reduce任务的调度装置，其特征在于，所述装置包括：

确定模块，用于当请求节点申请Reduce任务时，确定各未被调度的Reduce任务的数据本地性衡量值；

选取模块，用于选取数据本地性衡量值最小的Reduce任务，并确定选取的Reduce任务是否满足调度条件；

分配模块，用于若所述选取模块确定出满足，则将所述选取的Reduce任务分配给所述请求节点。

9.根据权利要求8所述的装置，其特征在于，所述选取模块包括：

比较单元，用于比较所述选取的Reduce任务的数据本地性衡量值与所述选取的Reduce任务的等待次数对应的阈值；

确定单元，用于若所述数据本地性衡量值小于或等于所述阈值，则确定所述选取的Reduce任务满足调度条件。

10.根据权利要求8所述的装置，其特征在于，所述确定模块包括：

计算单元，用于针对每个未被调度的Reduce任务，分别计算所述未被调度的Reduce任务的输入数据在其他各节点中的数据比例，以及分别计算所述请求节点与其他各节点之间的拓扑距离；

累积单元，用于分别计算对应于同一节点的数据比例与拓扑距离的乘积，并确定所述乘积的累积和为所述未被调度的Reduce任务的数据本地性衡量值。