[发明专利]一种面向Hadoop的实时作业公平调度的方法和装置

说明书

技术领域

本发明涉及高性能集群领域的任务调度方法，尤其涉及一种面向Hadoop的实时作业公平调度的方法和装置。

背景技术

Hadoop调度器的默认调度算法是Fifo，而且随着Hadoop技术的发展，后续又出现了一些其他的Hadoop调度算法，这些算法分别从不同角度对作业调度进行了优化，具体包括：

Fifo调度算法(First Input First Output)运行时，如果job1正在运行，job2进入队列不能马上运行，必须等job1运行完成才能开始job2的运行。此算法不能同时运行多个作业，会造成长作业长期占据计算资源，后面提交的job往往等待很久也得不到处理，不利于小作业的运行。

计算能力调度算法(Capacity Scheduler)支持多个对列，每个对列可配置一定的资源量。为了防止统一用户提交的job独占对列资源，该调度算法会对对列中统一用户提交作业所占资源的百分比进行限制，所有提交到对列中的job会共享该对列的资源，一旦出现空闲的便会分配给它，而且能有效地对集群的内存资源进行管理，支持内存密集型的应用。不过该计算能力调度算法不支持资源抢占及负载均衡，当存在高实时性的作业时，计算能力调度算法不能对其及时的调度，且不支持负载均衡的特性还会造成IO热点。

公平调度算法(Fair Scheduler)的目的是希望所有作业随着时间的推移，都能够平均地获得等同的共享资源，用以解决多用户多队列的调度问题。当一个作业单独运行时，它能够使用整个集群的资源。当有其他作业被提交时，系统会将空闲时间片分配给新的作业，使每个作业都能获得等量的CPU时间。这样小作业能在合理的时间完成，同时也能够正常调度长作业。公平调度算法较好的解决了小作业的问题，但是对于高实时作业以及对作业资源的控制上缺少能力，公平调度算法对待新作业采取基于时间的缺额算法，缺额的计算根据作业在集群的等待时间以及作业的数据量进行判断。这样的判断特性造成长作业的周期性提交，而使得小作业或者无输入的作业的饥饿现象。

LATE调度算法针对集群的异构进行了优化。分布式文件系统MFS使用需求向量来描述作业对各类资源的需求大小，满足了不同作业对资源的不同需求。将JobTracker上的资源管理和任务监控分布到不同节点上，降低了主节点的负载。

结合上述各类调度算法的特点，对实时作业的需求目前还存在以下几个缺陷：(1)高实时性的作业无法得到响应；(2)作业执行速度难以控制；(3)针对实时的小作业，Fair Scheduler基于缺额的资源抢占方法会使得大作业的缺额逐渐变大，而小作业迟迟得不到调度。

发明内容

本发明的目的在于提出一种面向Hadoop的实时作业公平调度的方法和装置，能够使用户实时提交的作业的计算任务在用户设定的期望执行时间内完成，实现针对用户实时提交的交互作业的高响应。

为达此目的，本发明采用以下技术方案：

第一方面，提供一种面向Hadoop的实时作业公平调度的方法，包括：

接收提交的作业和该作业的期望执行时间；

根据所述作业，获得预设的对应所述作业的作业历史执行数据，并建立代价模型；

将所述作业历史执行数据代入所述代价模型，计算获得所述作业的预估执行时间；

根据所述预估执行时间和期望执行时间，分配给所述作业实际需要的资源量，以便所述作业在所述期望执行时间内完成。

其中，所述代价模型的公式为：D+A≥fσ/(n_m×C_m)+fσ/(n_r×C_r)+fσ/C_d+fσ/C_s；

其中，所述代价模型基于MapReduce框架建立，所述MapReduce框架的作业任务执行阶段包括Map任务执行阶段和Reduce任务执行阶段，所述A为提交作业时的提交时间，所述D为作业的执行时间，所述D+A为预估执行时间，所述fσ为Map任务输出端的数据量，所述n_m为Map任务的Slot数目，所述C_m为Map任务处理单元数据的时间，所述n_r为Reduce任务的Slot数目，所述C_r为Reduce任务处理单元数据的时间，所述C_d为转换单元数据的通信时间，所述C_s为Reduce任务的Sort的速度；