[发明专利]一种面向Hadoop的实时作业公平调度的方法和装置

权利要求书

1.一种面向Hadoop的实时作业公平调度的方法，其特征在于，包括：

接收提交的作业和该作业的期望执行时间；

根据所述作业，获得预设的对应所述作业的作业历史执行数据，并建立代价模型；

将所述作业历史执行数据代入所述代价模型，计算获得所述作业的预估执行时间；

根据所述预估执行时间和期望执行时间，分配给所述作业实际需要的资源量，以便所述作业在所述期望执行时间内完成。

2.根据权利要求1所述的面向Hadoop的实时作业公平调度的方法，其特征在于，所述代价模型的公式为：D+A≥fσ/(n_m×C_m)+fσ/(n_r×C_r)+fσ/C_d+fσ/C_s；

其中，所述代价模型基于MapReduce框架建立，所述MapReduce框架的作业任务执行阶段包括Map任务执行阶段和Reduce任务执行阶段，所述A为提交作业时的提交时间，所述D为作业的执行时间，所述D+A为预估执行时间，所述fσ为Map任务输出端的数据量，所述n_m为Map任务的Slot数目，所述C_m为Map任务处理单元数据的时间，所述n_r为Reduce任务的Slot数目，所述C_r为Reduce任务处理单元数据的时间，所述C_d为转换单元数据的通信时间，所述C_s为Reduce任务的Sort的速度；

所述将所述作业历史执行数据代入所述代价模型，计算获得所述作业的预估执行时间；根据所述预估执行时间和期望执行时间，分配给所述作业实际需要的资源量，包括：

将所述作业历史执行数据代入所述公式，计算获得所述作业的预估执行时间；根据所述预估执行时间和期望执行时间，获得所述作业在所述期望执行时间内完成的最小Map任务的Slot数目；

根据所述最小Map任务的Slot数目，获得所述作业在所述期望执行时间内完成实际需要的最小资源量，分配给所述作业大于等于所述最小资源量的资源量。

3.根据权利要求1所述的面向Hadoop的实时作业公平调度的方法，其特征在于，预设所述作业历史执行数据，包括：

接收提交的作业，执行所述作业；

在执行所述作业的过程中，保存所述作业的信息，所述信息包括作业的类型、执行作业对应的资源量、执行作业的时间；

对相同类型的作业对应的资源量、执行作业的时间进行统计。

4.根据权利要求1所述的面向Hadoop的实时作业公平调度的方法，其特征在于，所述根据所述预估执行时间和期望执行时间，分配给所述作业实际需要的资源量，包括：

将所述预估执行时间和期望执行时间进行对比，根据对比结果设置所述作业实际的作业公平资源量；

所述作业公平资源量C_ij＝W’_ij/(Σ_iΣW’_i*)×H_c；

其中，所述W’_ij为作业的全局权重值，所述Σ_iΣW’_i*为所有可调度作业的全局权重值之和，所述H_c表示集群当前的计算资源量。

5.根据权利要求1所述的面向Hadoop的实时作业公平调度的方法，其特征在于，所述代价模型基于以下条件建立：

每个节点的计算能力一致；

任务的执行进度随时间线性增加；

任务的进度可以表示成已完成工作量占总工作量的比例；

同种类型作业的任务工作量相同，执行所用时间相同。

6.一种面向Hadoop的实时作业公平调度的装置，其特征在于，包括：

接收作业单元，用于接收提交的作业和该作业的期望执行时间；

建立模型单元，用于根据所述作业，获得预设的对应所述作业的作业历史执行数据，并建立代价模型；

获得时间单元，用于将所述作业历史执行数据代入所述代价模型，计算获得所述作业的预估执行时间；

分配资源单元，用于根据所述预估执行时间和期望执行时间，分配给所述作业实际需要的资源量，以便所述作业在所述期望执行时间内完成。