[发明专利]Hadoop平台下的任务调度方法及装置

权利要求书

1.一种Hadoop平台下的任务调度方法，包括：

对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；

将当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值；和/或，将所述当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值；

若所述至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0时，判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，若是，则将所述一个或多个优先待处理任务调整至所述前若干个待处理任务之前；

根据重排序结果将待处理任务调度给执行节点以供进行任务处理。

2.根据权利要求1所述的方法，其中，所述判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务进一步包括：

判断所述前若干个待处理任务之后连续的一个或多个待处理任务的数据量是否小于预设数据量，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务；和/或，

判断所述前若干个待处理任务之后连续的一个或多个待处理任务在映射阶段的处理耗时是否小于或等于预设耗时，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务。

3.根据权利要求1所述的方法，其中，所述对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估进一步包括：

预测算法引擎选择多种数据模型中的一种作为目标预测模型，当向预测算法引擎中输入连续的多个历史任务在映射阶段的实际耗时后，通过该目标预测模型预测出该连续的多个历史任务之后的待处理任务在映射阶段的处理耗时，其中，预测算法引擎根据前一次预测得到的待处理任务的处理耗时与该待处理任务的实际耗时的差值从多个数据模型中选择目标预测模型。

4.根据权利要求1所述的方法，其中，所述对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估进一步包括：

根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及网络带宽预估所述待处理任务在混洗时期的处理耗时。

5.根据权利要求1所述的方法，其中，所述对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估进一步包括：

根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及每单位数据量排序所需时长预估所述待处理任务在排序时期的处理耗时。

6.一种Hadoop平台下的任务调度系统，包括：

预估模块，适于对每个待处理任务在MapReduce的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；

排序模块，适于将当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值；和/或，将所述当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值；若所述至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0时，判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，若是，则将所述一个或多个优先待处理任务调整至所述前若干个待处理任务之前；

调度模块，适于根据重排序结果将待处理任务调度给执行节点以供进行任务处理。