[发明专利]Reduce任务的调度方法及装置

说明书

本发明提供一种Reduce任务的调度方法及装置，用以克服现有技术中在进行任务调度时网络传输开销较大、任务调度时间较长的缺陷。其中方法包括：当请求节点申请Reduce任务时，确定各未被调度的Reduce任务的数据本地性衡量值；选取数据本地性衡量值最小的Reduce任务，并确定选取的Reduce任务是否满足调度条件；若满足，则将选取的Reduce任务分配给请求节点。本发明实施例并非直接调度Reduce任务，而是根据Reduce任务的数据本地性衡量值进行判定后再分配满足调度条件的Reduce任务，因此在进行任务调度时考虑了Reduce任务的数据本地性，减少了任务调度时间，提高作业吞吐量。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种Reduce任务的调度方 法及装置。

背景技术

MapReduce是一种简单的编程模型，其对数据的操作可以归结为两个阶 段：Map(映射)阶段和Reduce(归约)阶段，由于在处理分析大规模数据集时的 简单性和灵活性，MapReduce一时成为了当前主流的海量数据处理框架。 Hadoop(海杜普)作为其优秀的开源实现被广泛使用。Hadoop的任务调度 算法决定了任务的执行性能，进而影响到整个Hadoop集群的性能。幸运的 是，Hadoop实现的可插入式调度器，能灵活地运用不同的任务调度算法为任 务分配集群资源，这些算法各有优势，它们工作效率取决于工作负载和集群 特性。

目前主要的MapReduce任务调度方法有三种，分别为：FIFO(First Input FirstOutput，先入先出)调度方法、公平调度方法和容量调度方法。FIFO 调度方法按任务的提交时间来执行任务，不考虑作业的优先级或大小，容易 实现，而且效率相对较高；公平调度方法(Fair Scheduler)是由Facebook 开发设计的，它的核心概念是：随着时间的推移，平均地为作业分配集群资 源，该调度算法可以让Hadoop集群对提交的多种类型任务作出更大的响应 比，特别适用于中小规模的集群；由Yahoo开发的容量调度器(CapacityScheduler)与公平调度器类似，它能提供更大的控制能力，保证用户的最小 容量要求，并在用户之间共享多余的容量，主要用于拥有多个独立用户和目 标应用程序的大型集群。

上述公平调度方法使用更为广泛，但是公平调度方法在进行任务调度时， 并未考虑Reduce任务的数据本地性，从而导致网络传输开销较大、任务调度 时间较长。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种Reduce 任务的调度方法及装置，用以克服现有技术中在进行任务调度时，并未考虑 Reduce任务的数据本地性，从而导致网络传输开销较大、任务调度时间较长 的缺陷。

本发明实施例提供一种Reduce任务的调度方法，所述方法包括：

当请求节点申请Reduce任务时，确定各未被调度的Reduce任务的数据 本地性衡量值；

选取数据本地性衡量值最小的Reduce任务，并确定选取的Reduce任务 是否满足调度条件；

若满足，则将所述选取的Reduce任务分配给所述请求节点。

可选地，所述确定选取的Reduce任务是否满足调度条件的步骤，包括：

比较所述选取的Reduce任务的数据本地性衡量值与所述选取的Reduce 任务的等待次数对应的阈值；

若所述数据本地性衡量值小于或等于所述阈值，则确定所述选取的 Reduce任务满足调度条件。

可选地，在所述将所述选取的Reduce任务分配给所述请求节点的步骤之 后，还包括：将所述选取的Reduce任务的等待次数置为0。

可选地，所述方法还包括：若不满足，则将所述选取的Reduce任务的等 待次数加1。