[发明专利]分布式计算系统的中间文件处理装置及方法有效
| 申请号： | 201010146041.3 | 申请日： | 2010-04-07 |
| 公开（公告）号： | CN102214184A | 公开（公告）日： | 2011-10-12 |
| 发明（设计）人： | 伍海君;赵大勇;杨绍鹏;王宇;欧贻葆;阙太富 | 申请（专利权）人： | 腾讯科技(深圳)有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 广州华进联合专利商标代理有限公司 44224 | 代理人： | 何平;曾旻辉 |
| 地址： | 518044 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种分布式计算系统的中间文件处理装置及方法，所述装置基于Map-Reduce框架，包括Map单元和Reduce单元，所述Map单元包括：中间文件生成模块，用于在处理Map任务后按照预设文件大小生成多个中间文件；传输模块，按照多个中间文件的生成顺序依次将所述中间文件传输至Reduce单元；所述Reduce单元包括接收所述中间文件的通信模块，以及对所述中间文件进行计算、输出最终结果的计算模块。采用本发明提供的装置及方法，能提高分布式计算系统的运行效率。 | ||
| 搜索关键词： | 分布式 计算 系统 中间 文件 处理 装置 方法 | ||
【主权项】：
一种分布式计算系统的中间文件处理装置，所述装置基于Map‑Reduce框架，包括Map单元和Reduce单元，其特征在于，所述Map单元包括：中间文件生成模块，用于在处理Map任务后按照预设文件大小生成多个中间文件；传输模块，按照多个中间文件的生成顺序依次将所述中间文件传输至Reduce单元；所述Reduce单元包括接收所述中间文件的通信模块，以及对所述中间文件进行计算、输出最终结果的计算模块。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司，未经腾讯科技(深圳)有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201010146041.3/，转载请声明来源钻瓜专利网。
- 上一篇：网页搜索方法及系统
- 下一篇：一种平滑无沉积铝合金固化膜成型液及其制备方法
