[发明专利]资源分配方法、主装置、从装置和分布式计算系统有效
申请号: | 201710662725.0 | 申请日: | 2017-08-04 |
公开(公告)号: | CN107515786B | 公开(公告)日: | 2021-02-19 |
发明(设计)人: | 倪传蕾;马庆祥;张馨予;陈茁 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 范胜祥 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 资源 分配 方法 装置 分布式 计算 系统 | ||
1.一种资源分配方法,其中,该方法应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该方法包括:
获取在所述分布式集群的各物理节点上可使用的资源总量,其中,各物理节点上可使用的资源总量就是相应的物理节点上的所有资源;
为各计算任务设置标准资源限度;
将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;
当接收到提交的计算任务时,获取各物理节点上当前的可用资源;
根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点;
其中,所述确定可运行该计算任务的资源充足的物理节点,包括:
若所述计算任务中存在所述资源需求,则确定各物理节点上当前的可用资源大于所述资源需求的物理节点,为可运行该计算任务的资源充足的物理节点;
若所述计算任务中不存在所述资源需求,则确定各物理节点上当前的可用资源大于所述标准资源限度的物理节点,为可运行该计算任务的资源充足的物理节点;
将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
2.如权利要求1所述的方法,其中,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
3.如权利要求1所述的方法,其中,所述资源包括如下的一种或多种:
CPU资源、内存资源、网卡资源。
4.如权利要求1所述的方法,其中,所述为各计算任务设置标准资源限度包括:在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度;
所述将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中包括:为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将所述Cgrouplimit配置文件副本下发到各资源分配从装置。
5.如权利要求1所述的方法,其中,该方法还包括:按计算任务的业务类型,为各计算任务设置业务资源限度;
所述提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
6.一种资源分配方法,其中,该方法应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点对应部署在分布式集群的一个物理节点上,该方法包括:
获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量,其中,各物理节点上可使用的资源总量就是相应的物理节点上的所有资源;
当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;
在所述计算任务结束后,释放相应的已分配资源;
当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
7.如权利要求6所述的方法,其中,所述获取各计算任务的标准资源限度包括:
接收下发的Cgroup limit配置文件副本,所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述在所述标准资源限度内为所述计算任务分配资源包括:以Cgroup limit方式启动所述计算任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710662725.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种碲镉汞薄膜组分的测试方法
- 下一篇:污泥压榨板