[发明专利]计算集群中多用户的任务调度方法及设备

说明书

本申请的目的是提供一种计算集群中多用户的任务调度方法及设备，通过确定所述计算集群中各服务器的当前的剩余总资源量配额，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。

技术领域

本申请涉及计算机领域，尤其涉及一种计算集群中多用户的任务调度方法及设备。

背景技术

大数据技术依托于海量的数据，而这样新型的数据处理任务是单台计算机不能胜任的，需要采用分布式的计算集群(计算引擎)。分布式计算引擎是将大型的处理任务，在若干中间处理阶段，分割成类型相同的小任务，然后分发到不同的分布式节点进行计算。如何将接收到的任务分发出去，便是引擎调度模块(调度器)负责的。

分布式计算平台上，往往很多用户如多租户使用同一个计算集群，并且使用集群运行不同类型的运算任务(混合负载)。在这样的场景中，如何合理、高效地分配资源，是计算任务顺利完成的关键，而其核心技术在于计算集群(计算引擎)的调度功能。而现有的调度器调度方案无法可靠保证多用户和混合负载场景下的计算引擎对任务的执行效率，同时影响了用户的使用体验。

发明内容

本申请的一个目的是提供一种计算集群中多用户的任务调度方法及设备，能够解决现有的调度器调度方案无法可靠保证多用户和混合负载场景下的计算引擎对任务的执行效率的问题。

根据本申请的一个方面，提供了一种计算集群中多用户的任务调度方法，该方法包括：

根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；

根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；

从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；

获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；

按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；

根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；

按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；

更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。

进一步的，上述方法中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量。

进一步的，上述方法中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：

若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；

若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低。

进一步的，上述方法中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：

子节点只使用父节点的最大资源量；