[发明专利]一种任务调度方法及装置

说明书

本发明公开了一种任务调度方法及装置，其中，该方法包括：获取工作节点的请求信息，请求信息为工作节点存在空闲工作槽时发送的请求任务的信息；计算每个任务队列的资源消耗特征及剩余任务比例，任一任务队列的资源消耗特征为依据该任务队列中正在运行的任务的CPU占用率、内存占用率及带宽占用率进行计算得到的，任一任务队列的剩余任务比例为该任务队列中未运行任务与全部任务的比值；选取任务队列中其资源消耗特征及剩余任务比例的乘积不小于其他任务队列的任务队列为目标任务队列，利用空闲工作槽对目标任务队列中的未运行任务进行处理。由此，优先处理急需被处理的任务队列中的未运行任务，大大提高了任务执行效率。

技术领域

本发明涉及大数据Hadoop集群调度技术领域，更具体地说，涉及一种任务调度方法及装置。

背景技术

Hadoop是一个分布式系统基础架构，随着Hadoop的应用越来越广泛，其面临的问题也愈来愈多，其中，包括在实现对于任务的调度时面临的问题。

具体来说，现有技术中Hadoop平台下默认的作业调度算法主要为FIFO(FirstInput First Output，先入先出)算法，即需要对任务进行调度时，按照先入先出的原则对任务进行调度，每次调度的任务为未被处理的任务中最先存在的任务，由此，实现调度任务的过程中关于时间方面的公平性。但是，发明人发现，按照先入先出算法进行任务的调度，仅仅考虑到时间方面的公平性，而未考虑到不同的任务待处理的实际情况，即可能无法优先处理急需被处理的任务，由此，造成急需被处理的任务可能无法被及时处理，进而降低了任务执行效率。

综上所述，现有技术中存在由于急需被处理的任务可能无法被及时处理而导致任务执行效率较低的问题。

发明内容

本发明的目的是提供一种任务调度方法及装置，以解决现有技术中存在的由于急需被处理的任务可能无法被及时处理而导致任务执行效率较低的问题。

为了实现上述目的，本发明提供如下技术方案：

一种任务调度方法，包括：

获取工作节点的请求信息，所述请求信息为所述工作节点存在空闲工作槽时发送的请求任务的信息；

计算每个任务队列的资源消耗特征及剩余任务比例，其中，任一任务队列的资源消耗特征为依据该任务队列中正在运行的任务的CPU占用率、内存占用率及带宽占用率进行计算得到的，任一任务队列的剩余任务比例为该任务队列中未运行任务与全部任务的比值；

选取所述任务队列中其资源消耗特征及剩余任务比例的乘积不小于其他任务队列的任务队列为目标任务队列，并利用所述空闲工作槽对所述目标任务队列中的未运行任务进行处理。

优选的，利用所述空闲工作槽对所述目标任务队列中的未运行任务进行处理，包括：

计算所述工作节点的能力特征，其中，所述能力特征为依据所述工作节点的CPU、内存、硬盘及带宽对应的属性值进行计算得到的；

计算所述目标任务队列中包含的未运行任务的资源占用特征，其中，所述目标任务队列中任一未运行任务的资源占用特征为该未运行任务占用的工作槽数量与所述目标任务队列中全部任务占用的工作槽数量的平均值的比值；

选取所述目标任务队列中其资源占用特征与所述工作节点的能力特征相匹配的未运行任务为目标任务，并利用所述空闲工作槽对所述目标任务进行处理。

优选的，选取所述目标任务队列中其资源占用特征与所述工作节点的能力特征相匹配的未运行任务为目标任务，包括：

将所述工作节点的能力特征与节点能力阈值进行比对，如果所述工作节点的能力特征大于所述节点能力阈值，则判断所述目标队列中是否存在其资源占用特征大于资源占用阈值的未运行任务，如果是，则由其资源占用特征大于资源占用阈值的未运行任务中选取一个任务作为目标任务；