[发明专利]一种基于正负反馈负载调度算法的Hadoop集群任务调度方法

权利要求书

1.一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，应用于Hadoop的资源调配中心，其特征在于，集群任务调度方法包括：

空闲计算节点向管理节点申请执行任务请求；

管理节点接收任务请求，并查询是否有运行该任务请求的历史记录；

历史记录对比分析，若与该任务配置符合资源需求，则该任务在此计算节点中计算，否则，该计算节点重新匹配新任务请求。

2.根据权利要求1所述一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，其特征在于，Hadoop集群中空闲的Data Node计算节点的Node Manager向管理节点NameNode的Resource Manager申请执行任务资源时，申请信息中包含各个计算节点的内存，磁盘I/O读写率，网络带宽，正在使用内存大小，磁盘余量。

3.根据权利要求1所述一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，其特征在于，管理节点接收任务请求，查询是否有运行该任务请求的历史记录之前，管理节点对系统已经初始化的任务队列或CPU运行队列和磁盘负载队列中任意拉取一个该NameNode计算节点的计算任务，在任务进行计算之前查询已经完成任务记录。

4.根据权利要求3所述一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，其特征在于，如查询历史记录表没有该运行任务的相关信息，管理节点Name Node中的Resource Manager直接将任务在此Data Node计算节点进行计算，Name Node完成计算任务之后，将整个计算任务按作业耗时，CPU利用率及磁盘情况存入历史记录表中。

5.根据权利要求1所述一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，其特征在于，如查询历史记录表有该运行任务的相关信息，则对当前分配的任务与历史记录信息进行比较，通过与历史运行记录的分析且任务配置符合当前资源需求，则管理节点Name Node中的Resource Manager直接将此任务在此Data Node计算节点进行计算。

6.根据权利要求5所述一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，其特征在于，若通过对历史记录对比发现与当前任务的初始化配置不符合，则将该任务拿出保存到新的队列中，然后重新从原来队列取出新的任务，然后管理节点重新进行查询对比的操作，直到匹配到合理的任务。

7.根据权利要求6所述一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，其特征在于，匹配到合理的任务后，管理节点Name Node完成计算任务，将整个计算任务按作业耗时，CPU利用率及磁盘情况存入历史记录表中。