[发明专利]一种基于正负反馈负载调度算法的Hadoop集群任务调度方法

说明书

本发明公开了一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，应用于Hadoop的资源调配中心，集群任务调度方法包括：空闲计算节点向管理节点申请执行任务请求；管理节点接收任务请求，并查询是否有运行该任务请求的历史记录；历史记录对比分析，若与该任务配置符合资源需求，则该任务在此计算节点中计算，否则，该计算节点重新匹配新任务请求；能够在集群任务调度中根据不同服务器的资源使用情况及服务器性能差异性动态分配计算任务，实现计算任务的高效完成并提高CPU及资源使用效率。

技术领域

本发明属于集群任务调度技术领域，尤其涉及一种基于正负反馈负载调度算法的Hadoop集群任务调度方法。

背景技术

Hadoop平台的核心应用之一是作业调度技术，作业调度技术把计算任务按需分配给计算节点进行执行，而分配的方式会直接影响到Hadoop平台系统资源使用率与整体性能。一般情况下，平台采用队列存储即先到先分配的形式进行调度，但这种调度方式缺乏交互性，不能更好的按需分配，实现资源利用最大化。如果作业调度算法的分配不合理，会造成集群的资源负载任务分配不均衡，影响集群的运行效率。为了优化作业调度算法，解决其存在的问题，Yahoo与Facebook公司分别研究出Capacity Scheduler和Fair Scheduler算法用以解决作业调度存在的问题，这两种算法通过管理员对任务资源耗费情况和集群节点运行情况，通过人工调配的方式对集群计算节点配置，此方法虽然从一定程度上解决了先到先分配的方式存在的问题，但是依然没有实现纯自动化的方式解决问题。因此，通过对Hadoop实现的资源调度框架(Yarn)和分布式文件系统(HDFS)进行研究，改进现有的资源调度算法的不足，对提高云计算计算任务的整体性能和资源的利用率具有重要的意义。

作业调度算法的主要应用是将每个作业上的多个任务按照其需求进行合理分配，保障被分配到的每个节点高效执行。目前现有的作业调度算法都有存在一定的缺陷，比如按照队列模式的调度算法一般在集群节点配置相似且运行作业任务相同的情况下使用，只适用于作业、任务相同或基本相似的特定的场景；计算能力调度算法虽然可以提高系统利用率，按照作业执行效率进行自动分配，但需要人为提前配置硬件条件，不能实现机器自动化分配。现有调度方法目前都还没有从根本上解决使用中的问题。

中国专利申请号201710113656.8公开了一种分布式任务调度系统及方法，用于提高任务调度执行的效率与可靠性，该系统包括：任务提交集群、任务调度集群以及任务执行集群；任务提交集群包括多个任务客户端节点，任务调度集群包括多个任务调度节点，任务执行集群包括多个任务执行节点；任务提交集群中的任务客户端节点用于向任务调度集群提交任务；任务调度集群中的任务调度节点用于接收任务，生成任务的任务分配信息，按照任务分配信息将任务发送给任务执行集群；任务执行集群中的任务执行节点用于执行任务并将执行结果返回给提交任务的任务客户端节点。上述现有技术需要人为提前配置硬件条件，不能实现机器自动化分配，导致资源分布不均，资源利用率低，影响集群的高效运行稳定性。

发明内容

针对现有技术不足，本发明的目的在于提供了一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，能够在集群任务调度中根据不同服务器的资源使用情况及服务器性能差异性动态分配计算任务，实现计算任务的高效完成并提高CPU及资源使用效率。

本发明提供如下技术方案：

一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，应用于Hadoop的资源调配中心，集群任务调度方法包括：

空闲计算节点向管理节点申请执行任务请求；

管理节点接收任务请求，并查询是否有运行该任务请求的历史记录；

历史记录对比分析，若与该任务配置符合资源需求，则该任务在此计算节点中计算，否则，该计算节点重新匹配新任务请求。