[发明专利]MapReduce分布式系统的文件迁移方法及设备有效
| 申请号： | 201310090660.9 | 申请日： | 2013-03-20 |
| 公开（公告）号： | CN103176843B | 公开（公告）日： | 2018-12-14 |
| 发明（设计）人： | 潘瑾瑜 | 申请（专利权）人： | 百度在线网络技术(北京)有限公司 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48 |
| 代理公司： | 北京鸿德海业知识产权代理事务所(普通合伙) 11412 | 代理人： | 袁媛 |
| 地址： | 100085 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种MapReduce分布式系统的文件迁移方法及设备。本发明实施例通过启动用于迁移目标文件的迁移作业，所述迁移作业中至少包含并行执行的第一Map任务和第二Map任务，以及所述第一Map任务和所述第二Map任务对应的Reduce任务，使得在Reduce任务中，能够生成所述目标文件在所述目标MapReduce分布式系统中的元数据，由于迁移一目标文件的迁移任务至少包含第一Map任务和第二Map任务，并且所述第一Map任务与所述第二Map任务是并行执行的，因此，会缩短该目标文件的迁移时间，从而提高了目标文件的迁移效率。 | ||
| 搜索关键词： | mapreduce 分布式 系统 文件 迁移 方法 设备 | ||
【主权项】：
1.一种MapReduce分布式系统的文件迁移方法，其特征在于，包括：启动用于迁移目标文件的迁移作业，所述迁移作业中至少包含并行执行的第一Map任务和第二Map任务，以及所述第一Map任务和所述第二Map任务对应的Reduce任务，所述目标文件至少包括第一数据和第二数据，所述第一数据存储在至少一个第一数据块中，所述第二数据存储在至少一个第二数据块中；在所述第一Map任务中，根据所述目标文件的标识信息和所述至少一个第一数据块的标识信息，将所述第一数据拷贝到目标MapReduce分布式系统中；在所述第二Map任务中，根据所述目标文件的标识信息和所述至少一个第二数据块的标识信息，将所述第二数据拷贝到目标MapReduce分布式系统中；在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，生成所述目标文件在所述目标MapReduce分布式系统中的元数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司，未经百度在线网络技术(北京)有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310090660.9/，转载请声明来源钻瓜专利网。
- 上一篇：旅行箱
- 下一篇：一种用于农业的高效灌溉装置
