[发明专利]一种任务调度方法、装置及系统

说明书

技术领域

本发明涉及计算机应用技术领域，特别涉及一种任务调度方法、装置及系统。

背景技术

在分布式计算系统中，通常使用物理机或虚拟机作为计算单元，称为计算节点。每个计算节点中拥有多种计算资源类型，如中央处理器CPU（Central Processing Unit）、内存、硬盘、网络带宽等。另外，在分布式计算系统中，将一系列计算任务的集合称为计算框架，每个计算框架对应一个或一组特定的功能，例如，用于统计用户行为的计算框架、用于进行视频转码的计算框架，等等。

任务调度的作用是将这些计算资源公平地分配给各个计算框架下的各个计算任务，使得每个任务都尽可能快地完成，同时高优先级的任务能够更优先完成。

现有技术中，一种实现任务调度方法是指定一个计算节点可以运行几个任务，然后将任务无差别地分配到这些计算节点上。

然而，在实际应用中，不同计算任务所需的计算资源不同，比如视频转码任务需要更多的CPU，图像处理任务需要更多内存，应用上述将任务无差别的分配到计算节点的方法，就会出现一个计算节点只有单一种类任务的情况，比如都是内存占用较多的任务，CPU就可能处于空闲状态，计算资源分配不合理。

发明内容

本发明实施例的目的在于提供一种任务调度方法、装置及系统，解决现有技术中计算资源分配不合理的问题。

为达到上述目的，本发明实施例公开了一种任务调度方法，包括：

获得各个计算节点的计算资源信息，根据该信息，将空闲计算资源分配给各个计算框架，其中，所述计算节点的计算资源信息包括：该计算节点的多种类型计算资源的使用情况；

将各个计算框架所获得的空闲计算资源，分别分配给该计算框架的任务队列中的各个任务。

较佳的，所述将空闲计算资源分配给各个计算框架，具体包括：

计算各个计算框架当前占用各种计算资源的情况；

根据计算结果，确定各个计算框架的主计算资源；

根据各个计算框架的主计算资源的比值和预设的各个计算框架的权值的比值，将空闲计算资源分配给各个计算框架。

较佳的，所述方法还包括：

接收用户向计算框架添加的任务后，即时将该任务添加到该计算框架的任务队列中。

较佳的，所述接收用户向计算框架添加的任务后，即时将该任务添加到该计算框架的任务队列中，具体包括：

接收用户向计算框架添加的任务后，判断该任务的优先级，并预估该任务执行所需占用的计算资源；

根据该任务的优先级信息和所预估的该任务执行所需占用的计算资源信息，将该任务添加到其对应优先级的任务队列。

较佳的，所述将各个计算框架所获得的空闲计算资源，分别分配给该计算框架的任务队列中的各个任务，具体包括：

判断计算框架当前是否有空闲计算资源；

判断计算框架当前有的空闲计算资源是否满足最高优先级任务队列中预估所需占用最少计算资源的任务x的执行；

如果计算框架当前有空闲计算资源、且这些计算资源满足任务x的执行，将当前的空闲计算资源分配给任务x；

如果计算框架当前没有空闲计算资源或者这些计算资源不满足任务x的执行，在当前执行的任务中，查找比任务x优先级低的、且占用的计算资源与空闲的计算资源之和大于任务x需要的计算资源的任务，将这些任务暂停或杀死，将释放出的计算资源分配给任务x。

较佳的，所述计算框架，预留部分计算资源作为资源插槽；

所述将各个计算框架所获得的空闲计算资源，分别分配给该计算框架的任务队列中的各个任务，具体包括：

检测是否有空闲的资源插槽；

检测空闲的资源插槽否满足最高优先级任务队列中预估所需占用最少计算资源的任务x的执行；

如果有空闲资源插槽、且这些空闲插槽满足任务x的执行，将空闲资源插槽分配给任务x；

如果没有空闲资源插槽或者这些资源插槽不满足任务x的执行，在当前执行的任务中，查找比任务x优先级低的、且占用的计算资源与空闲的资源插槽之和大于任务x需要的计算资源的任务，将这些任务暂停或杀死，将释放出的计算资源分配给任务x。

较佳的，所述方法还包括：

检测是否有资源插槽被占用；

当有资源插槽被占用的情况下，将与占用的资源插槽等量的空闲计算资源转换为资源插槽。

较佳的，所述方法还包括：

获得各个计算节点各个任务当前执行需要的各种可动态增减的计算资源实际占用值信息；