[发明专利]一种基于hadoop的作业调度算法

摘要

本发明公开了一种将贝叶斯分类器和高响应比优先相结合的算法。在处理作业之前，需要设定合适的过载规则作为判断作业好坏的标准，同时更新每个作业的动态优先权；然后根据以前处理作业的节点信息来构成本次作业处理的特征变量；再将这些特征变量代入贝叶斯分类器中将作业分为好作业和坏作业，把好作业留下，坏作业舍去；最后将好作业与动态优先权相结合，获得最终效用值，作业将根据效用值的大小来进行分配。本发明用贝叶斯分类器通过学习的方式来避免人工设置参数的弊端，又采用高响应比优先来确保在大作业能得到处理的情况下小作业可以优先处理，以减少等待时间。

主权项

一种基于朴素贝叶斯分类器的高响应比优先调度算法步骤如下：步骤1、在对作业进行处理之前，需要设定一个合理的过载规则，可以根据心跳反馈的节点信息来作为判断作业好坏的标准，同时更新每个作业的动态优先权。步骤2、上一次作业根据效用值的大小进行分配，计算出作业处理的时间来获取节点的相关信息，这些信息通过过载规则构成决定作业好坏的特征变量。步骤3、将之前所得的特征值代入贝叶斯分类器，判断出作业的好坏，将好作业留下进行后面的处理，而坏作业则丢弃掉。步骤4、将贝叶斯分类器处理后的好作业与动态优先权先结合，可以获得作业的效用值，按效用值的大小对作业进行分配，所得节点信息成为下一次作业处理的特征值。