[发明专利]用于调度、执行的装置和方法以及分布式系统有效
| 申请号: | 201410011477.X | 申请日: | 2014-01-10 |
| 公开(公告)号: | CN104778079B | 公开(公告)日: | 2018-07-20 |
| 发明(设计)人: | 史巨伟;邹嘉;王俞;王岚君;王晨;曹朝 | 申请(专利权)人: | 国际商业机器公司 |
| 主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
| 代理公司: | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人: | 杨国权 |
| 地址: | 美国*** | 国省代码: | 美国;US |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 用于 调度 执行 装置 方法 以及 分布式 系统 | ||
1.一种用于调度的装置,包括:
接收单元,配置为接收作业的任务;
配置单元,配置为分别在至少两个资源维度上给所述任务配置资源量,其中,每个资源维度表示一种能用于配置的资源,其中,所述配置单元针对所述至少两个资源维度中的每一种资源分别地给所述任务配置所述资源的资源量;
接口单元,配置为分发所述任务及与给所述任务配置的各个资源维度上的资源量有关的信息;
候选单元,配置为分别从多个作业中选取任务作为候选任务,供所述接口单元分发;
生成单元,配置为根据为各候选任务配置的各个资源维度上的资源量,生成各候选任务在所述接口单元中的分发方案;以及
判断单元,配置为估计假定经过预定延迟后所述生成单元生成的分发方案相对于所述生成单元当前生成的分发方案的收益,并在所估计的收益优于所述预定延迟的代价的情况下,指示所述生成单元经过所述预定延迟后再生成分发方案。
2.根据权利要求1所述的用于调度的装置,还包括:
估计单元,配置为估计所述任务分别对至少两个资源维度上的资源量的消耗;
其中,所述配置单元根据估计的结果分别在至少两个资源维度上给所述任务配置资源量。
3.根据权利要求2所述的用于调度的装置,其中
所述估计单元根据历史信息来估计所述任务分别对至少两个资源维度上的资源量的消耗。
4.根据权利要求2所述的用于调度的装置,其中
所述估计单元根据抽样信息来估计所述任务分别对至少两个资源维度上的资源量的消耗。
5.根据权利要求1-4中任意一项所述的用于调度的装置,其中所述用于调度的装置包括在MapReduce装置中的Map装置中。
6.根据权利要求1-4中任意一项所述的用于调度的装置,其中所述用于调度的装置包括在MapReduce装置中的Reduce装置中。
7.一种用于调度的方法,包括:
接收作业的任务;
分别在至少两个资源维度上给所述任务配置资源量,其中,每个资源维度表示一种能用于配置的资源,其中,针对所述至少两个资源维度中的每一种资源分别地给所述任务配置所述资源的资源量;
分发所述任务及与给所述任务配置的各个资源维度上的资源量有关的信息;
分别从多个作业中选取任务作为候选任务进行分发;
根据为各候选任务配置的各个资源维度上的资源量,生成各候选任务的分发方案;以及
估计假定经过预定延迟后生成的分发方案相对于当前生成的分发方案的收益,并在所估计的收益优于所述预定延迟的代价的情况下,经过所述预定延迟后再生成分发方案。
8.根据权利要求7所述的用于调度的方法,还包括:
估计所述任务分别对至少两个资源维度上的资源量的消耗;
其中,分别在至少两个资源维度上给所述任务配置资源量包括:根据估计的结果分别在至少两个资源维度上给所述任务配置资源量。
9.根据权利要求8所述的用于调度的方法,其中,估计所述任务分别对至少两个资源维度上的资源量的消耗包括:
根据历史信息来估计所述任务分别对至少两个资源维度上的资源量的消耗。
10.根据权利要求8所述的用于调度的方法,其中,估计所述任务分别对至少两个资源维度上的资源量的消耗包括:
根据抽样信息来估计所述任务分别对至少两个资源维度上的资源量的消耗。
11.根据权利要求7至10中任意一项所述的用于调度的方法,其中所述用于调度的方法包括在MapReduce处理中的Map处理中。
12.根据权利要求7至10中任意一项所述的用于调度的方法,其中所述用于调度的方法包括在MapReduce处理中的Reduce处理中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国际商业机器公司,未经国际商业机器公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410011477.X/1.html,转载请声明来源钻瓜专利网。





