[发明专利]计算集群中多用户的任务调度方法及设备有效
| 申请号: | 201710666610.9 | 申请日: | 2017-08-07 |
| 公开(公告)号: | CN107291545B | 公开(公告)日: | 2019-12-10 |
| 发明(设计)人: | 陈夏明;吕程;刘汪根 | 申请(专利权)人: | 星环信息科技(上海)有限公司 |
| 主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
| 代理公司: | 31243 上海百一领御专利代理事务所(普通合伙) | 代理人: | 佘猛;邵栋 |
| 地址: | 200233 上海市*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 计算 集群 多用户 任务 调度 方法 设备 | ||
1.一种计算集群中多用户的任务调度方法,其中,该方法包括:
根据计算集群中所有服务器的当前占用总资源量,确定所述计算集群中各服务器的当前的剩余总资源量配额;
根据所述计算集群中各服务器上各用户当前运行的任务数量,确定各用户当前的剩余任务数量配额;
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务,其中,所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额;
获取所述筛选出的任务的任务类型,按任务类型对所述筛选出的任务进行任务优先级排序;
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上,所述资源池中的节点对应于所述计算集群中的服务器;
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序;
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务,其中,同一节点上的任务按所述任务优先级调度;
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
2.根据权利要求1所述的方法,其中,每个节点上的资源指标包括:CPU资源量、内存资源量、权重、保留资源量和最大资源量。
3.根据权利要求2所述的方法,其中,根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序,包括:
若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量,则将该节点的节点优先级设置得较高;
若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量,则按该节点的权重设置该节点的节点优先级高低。
4.根据权利要求1所述的方法,其中,所述资源池中的节点组成树形结构,其中,节点之间满足以下约束:
子节点只使用父节点的最大资源量;
同级兄弟节点使用的资源量总和不超过父节点最大资源量;
同级兄弟节点相互借用父节点的剩余资源量,其中,所述父节点的剩余资源量等于父节点的最大资源量减去同级兄弟节点的最大资源量。
5.根据权利要求4所述的方法,其中,当所述资源池中的节点组成树形结构时,按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上,包括:
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
6.根据权利要求5所述的方法,其中,按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上,包括:
根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量,将同一用户的任务均衡分配到同一用户下各个叶子节点上。
7.根据权利要求5所述的方法,其中,当所述资源池中的节点组成树形结构时,根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序,包括:
对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序,其中,根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序,树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和;
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序;
根据所述倒数第二层节点和叶子节点的优先级排序,得到所有叶子节点的优先级排序。
8.根据权利要求5所述的方法,其中,根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序,包括:
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序;
在所述节点优先级一次排序的基础上,按照用户的等级对所有节点进行节点优先级二次排序,在同一节点内的任务,保持所述任务优先级的排序结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于星环信息科技(上海)有限公司,未经星环信息科技(上海)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710666610.9/1.html,转载请声明来源钻瓜专利网。





