[发明专利]Hadoop平台下的任务调度方法及装置

说明书

本发明公开了一种Hadoop平台下的任务调度方法及装置，该方法包括：对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；根据重排序结果将待处理任务调度给执行节点以供进行任务处理。通过上述方式，本发明可以通过预估映射阶段以及归约阶段的混洗时期和排序时期的处理耗时，来对任务队列中的任务进行重排序，避免处理过程中的拥堵，以使任务的调度更为合理。

技术领域

本发明涉及计算机技术领域，具体涉及一种Hadoop平台下的任务调度方法及装置。

背景技术

随着“互联网+及5G+”的提出，各行业大中型企业每天都在产生海量的非结构化数据。海量数据的存储以及计算处理迫切需要一种新型的计算方式，云计算在这种情况下应运而生。而Hadoop平台是目前应用最广泛的云计算平台，也是专家学者们对大数据进行研究使用最多的平台。MapReduce是一种分布式计算框架，是Hadoop对大数据进行分布式计算的核心组件。MapReduce分布式计算框架的性能直接影响着Hadoop集群的性能，因此对MapReduce分布式计算框架作业调度算法进行研究，对提高Hadoop集群的性能有着重要的意义。

MapReduce分布式计算框架调度过程总体上分为Map(映射，下文中相同)阶段和Reduce(归约，下文中相同)阶段。Reduce阶段分为三个时期，包括shuffle(混洗，下文中相同)时期、sort(排序，下文中相同)时期以及Reduce时期，其中，在Shuffle时期的时候任务应当从各个Map任务所处的节点中将其需要处理的数据进行远程拷贝，在全部数据都拷贝结束的时候Shuffle时期也对随之结束；然后进入到Sort时期，Sort时期主要是将已经输入的数据根据顺序进行再次排列，将排列好的数据当作Reduce时期的输入数据；Reduce时期指的是把已经排序的数据交给Reduce()函数进一步处理，将最终的结果保存到HDFS中，在所有的Reduce任务都完成之后就意味着一个完整的MapReduce分布式计算框架全作业调度过程就实现了。

然而，现有技术中缺乏对于MapReduce分布式计算框架的内部调度研究关注不足，小作业执行过程会受到到大作业的占用，导致整体执行效率降低，同时数据倾斜问题会导致单一节点占用率超负荷，进而影响执行效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的Hadoop平台下的任务调度方法及装置。

根据本发明的一个方面，提供了一种Hadoop平台下的任务调度方法，包括：

对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；

根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；

根据重排序结果将待处理任务调度给执行节点以供进行任务处理。

根据本发明的另一方面，提供了一种Hadoop平台下的任务调度系统，包括：

预估模块，适于对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；

排序模块，适于根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；

调度模块，适于根据重排序结果将待处理任务调度给执行节点以供进行任务处理。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；