[发明专利]MapReduce架构中的资源管理方法、装置和架构系统有效
| 申请号： | 201310037826.0 | 申请日： | 2013-01-31 |
| 公开（公告）号： | CN103970520B | 公开（公告）日： | 2017-06-16 |
| 发明（设计）人： | 史巨伟;李立;邹嘉;于琦 | 申请（专利权）人： | 国际商业机器公司 |
| 主分类号： | G06F9/44 | 分类号： | G06F9/44;G06F9/50 |
| 代理公司： | 中国国际贸易促进委员会专利商标事务所11038 | 代理人： | 李镇江 |
| 地址： | 美国*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种用于MapReduce架构中的资源管理的方法、装置和MapReduce架构系统。该方法包括确定Map任务的输入数据量和Map任务的输出数据量之比r以及Map输出结果中记录的平均大小R；确定一个Map资源槽对应的能够分配给Map任务的内存大小Memory_Size；根据所确定的r、R和Memory_Size，确定适合该Map任务的输入切片大小；以及将待处理的MapReduce作业中具有该输入切片大小的输入分片分配给占用该Map资源槽的Map任务。通过利用上述方法，可以尽量避免磁盘溢出，从而提高处理效率，避免资源浪费。 | ||
| 搜索关键词： | mapreduce 架构 中的 资源管理 方法 装置 系统 | ||
【主权项】：
一种用于MapReduce架构中的资源管理的方法，包括：确定Map任务的输入数据量和Map任务的输出数据量之比r以及Map输出结果中记录的平均大小R；确定一个Map资源槽对应的能够分配给Map任务的内存大小Memory_Size；根据所确定的r、R和Memory_Size，确定适合该Map任务的输入切片大小；以及将待处理的MapReduce作业中具有该输入切片大小的输入分片分配给占用该Map资源槽的Map任务。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国际商业机器公司，未经国际商业机器公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310037826.0/，转载请声明来源钻瓜专利网。
- 上一篇：报警器电路
- 下一篇：一种通信电缆保护电路
