[发明专利]一种基于负载均衡的推测式Hadoop调度方法

说明书

提出一种基于负载均衡的推测式Hadoop调度方法，首先需要判定慢任务，然后选取快节点执行慢任务的备份任务，在执行选定的慢任务的备份任务时保证集群系统的负载均衡。提出的所述方法通过设计了合理简单的慢任务确定方法及选取快节点执行备份任务的策略，优化了作业执行性能。这种策略不仅考虑了作业执行性能，也考虑了集群中负载均衡现象。该方法避免了集群负载失衡现象的发生，提高了Hadoop集群整体的性能。

技术领域

本发明涉及计算机负载均衡技术领域，具体涉及一种基于负载均衡的推测式Hadoop调度方法。

背景技术

在数据量剧增的网络时代，Hadoop集群已经成为并行处理的研究系统， Hadoop平台是通过并行化处理框架MapReduce实现应用程序开发，并且并行化技术对开发者是透明的，便于开发者编写并行化程序，只需满足MapReduce 框架即可。

任务调度算法是Hadoop平台上的核心技术之一，算法的主要功能是对任务执行的顺序及系统的计算资源进行合理的控制与分配。任务调度策略的优劣直接影响到Hadoop集群整个系统的执行性能和系统资源利用率的情况。现有的调度算法有FIFO，公平调度算法、计算容量调度算法和推测式算法。FIFO 调度机制是所有的作业被统一提交到一个队列中，Hadoop按照提交的先后顺序依次运行这些作业，但是该算法不能满足不同应用场景的需求。公平调度算法和计算能力调度算法可以按照应用需求对用户或应用程序分组，不同的分组分配不同的资源量，同时通过添加各种约束条件防止单个用户或者应用程序独占资源。但由于公平调度算法负载不均衡，影响了系统的响应时间，同时配置文件的配置影响整个系统的性能。计算能力调度算法中队列设置和队列组无法自动进行及存在的局部最优现象影响系统整体性能的提高。

MapReduce模型将作业分解成任务，然后并行地 运行任务，以使作业的整体执行时间少于各个任务顺序执行的时间。这使得作业执行时间对运行缓慢的任务很敏感，因为只运行一个缓慢的任务会使得整个作业所用的时间远长于执行 其它任务的时间。当一个作业由几百或几千任务组成时，可能就出现了个别任务运行缓慢，从而导致整个作业运行缓慢。当系统发现执行比预期慢的任务(慢是系统认为的)，它会在另外的机器上重新启动一个相同的任务，这样两个任务同时执行，哪个先结束，就会kill掉慢的那一个。

推测式算法是根据作业中任务的进度推测执行任务的过程。本发明对于 Hadoop中自带的推测式算法进行优化改进，提出了一种基于负载均衡的推测式Hadoop调度算法，该算法在能够保证任务运行的时间性能，同时避免了集群负载失衡的现象，提高了Hadoop集群整体的性能。

发明内容

为了实现本发明的目的，本发明提出的一种基于负载均衡的推测式 Hadoop调度方法，包括：

S1：判定任务是否为慢任务，将确定的慢任务的备份任务放入慢任务队列；

S2：判定集群中的哪些节点为快节点；

S3：从慢任务队列中选取所述慢任务的备份任务，在负载低的快节点中执行所述慢任务的备份任务。

特别地，所述步骤S1具体为：

S11：根据任务的运行进度和运行时间计算该任务的剩余执行时间；

S12：根据步骤S11计算的所述剩余执行时间确定所述任务是否为慢任务；

S13：判定所述慢任务的备份任务数量是否大于设定的上限，如果不是，则将所述慢任务的备份任务放置入慢任务队列。

特别地，所述步骤S11具体为：

假设任务当前执行进度为A，任务已运行的时间为t，则可以计算出该任务的剩余执行时间为t1＝t/A-t。

特别地，所述步骤S2具体为：