[发明专利]一种基于hadoop的作业调度算法

说明书

技术领域

本发明属于云计算领域，特别是涉及一种基于hadoop的作业调度算法。

背景技术

Hadoop作为Apache基金会的开源项目，是云计算研究和应用最具代表性的产品。Hadoop作为一个开源分布式计算平台，它的核心是由分布式文件系统(Hadoop Distributed File System，HDFS)和MapReduce (Google MapReduce的开源实现，即并行计算模型)组成。MapReduce是基于大量数据计算的编程模式，由于其简单性和灵活性，它在众多行业和科研领域有着广泛的应用。在Hadoop中，为了能让Map节点和 Reduce节点能被充分利用起来满足任务需要，合适的作业调度机制显得尤为重要。但是目前这一技术尚处于基础阶段，现有的作业调度算法均存在着一些不足之处，因此，通过对现有作业调度算法的研究，改进其不足之处，对提高Hadoop平台的整体性能和系统资源的利用具有重要的意义。

现有算法都要求管理员对在集群上运行的MapReduce作业的资源使用特性以及集群中各TaskTracker 资源有着详细的了解，并且管理员还需与使用集群的用户协商其所需的资源份额，以便正确地设置作业的运行环境从而保证作业的顺利正确完成。但是，当面对一个拥有大量用户的大集群时，这种方式使得管理员的负担明显过重，管理成本过高，甚至很有可能出现人工错误，从而带来作业执行出错等不必要的损失。而该算法可以通过学习的方式来避免人为设置带来的错误。现有算法中，对于长作业和短作业没有明显的区分，使得排在长作业后面的短作业有很长的等待时间，导致用户提交的作业完成效率不高，采取短作业优先的调度方法可以先完成短作业从而减少等待时间。而为了避免长作业长时间等待，采用了高响应比优先的方式提高长时间等待作业的优先级，就可以有效解决问题。

根据以上信息，我们采取了将贝叶斯学习和高响应比优先相结合的方式来提出一种新的算法。

发明内容

本发明的目的是在hadoop的平台架构下，提出一种基于朴素贝叶斯分类器的高响应比优先调度算法，能够通过之前的运行过程来对节点和作业的特性进行评估，为之后的作业调度有较好的改进，以此提高算法的运行小效率，降低运行时间。

本发明中采用以下方案实现：

一种Hadoop云计算平台的MapReduce作业调度方法，其特征在于包括以下阶段步骤：

步骤1、在对作业进行处理之前，需要设定一个合理的过载规则，可以根据心跳反馈的节点信息来作为判断作业好坏的标准，同时更新每个作业的动态优先权。

步骤2、上一次作业根据效用值的大小进行分配，计算出作业处理的时间来获取节点的相关信息，这些信息通过过载规则构成决定作业好坏的特征变量。

步骤3、将之前所得的特征值代入贝叶斯分类器，判断出作业的好坏，将好作业留下进行后面的处理，而坏作业则丢弃掉。

步骤4、将贝叶斯分类器处理后的好作业与动态优先权先结合，可以获得作业的效用值，按效用值的大小对作业进行分配，所得节点信息成为下一次作业处理的特征值。

本发明采取了将贝叶斯分类器和高响应比优先相结合的方式，搜集每次作业的处理结果，使其成为下一次任务的特征值，不断优化作业处理效率。高响应比优先可以在保证短作业得到快速处理的同时，避免长作业一直不能得到解决。

附图说明

图1是贝叶斯分类器与高响应比优先结合的任务调度体系结构图。

图2是贝叶斯分类器与高响应比优先结合的任务调度流程图。

具体实施方式

下面结合附图2对本发明做进一步说明。

步骤1是建立候选作业队列，我们需要将候选作业分为两类：good类和bad类。good类作业任务不会再TaskTracker上执行时使资源过载。bad类作业会产生过载，就需要将其舍弃。配置过载规则是基于需求的，例如，如果大多数提交的作业是密集型的，那么判断节点过载可能用到CPU利用率和平均负载。如果作业有很繁重的网络活动，网络的利用率也要考虑在过载规则中。在云计算环境中，这些资源的使用是收费的，也都可以考虑到过载规则中去。例如，其中节约带宽是重要的，如果该用户网络带宽的使用超出限制范围，过载规则认为这个任务分配是不正确的。对于过载规则唯一的要求就是能够正确识别一个节点的状态是过载还是没有过载。