[发明专利]MapReduce分布式系统的文件迁移方法及设备

说明书

本发明提供一种MapReduce分布式系统的文件迁移方法及设备。本发明实施例通过启动用于迁移目标文件的迁移作业，所述迁移作业中至少包含并行执行的第一Map任务和第二Map任务，以及所述第一Map任务和所述第二Map任务对应的Reduce任务，使得在Reduce任务中，能够生成所述目标文件在所述目标MapReduce分布式系统中的元数据，由于迁移一目标文件的迁移任务至少包含第一Map任务和第二Map任务，并且所述第一Map任务与所述第二Map任务是并行执行的，因此，会缩短该目标文件的迁移时间，从而提高了目标文件的迁移效率。

【技术领域】

本发明涉及文件迁移技术，尤其涉及一种MapReduce分布式系统的文件迁移方法及设备。

【背景技术】

近年来，随着宽带网络技术与并行计算理论的快速发展，一种更简化的分布式系统即映射和汇总（MapReduce）分布式系统应运而生，以为多种应用提供服务，例如，为搜索引擎提供服务。在MapReduce分布式系统，也可以成为MapReduce分布式集群，例如，Hadoop系统，中，一个数据处理过程称为一个作业（Job），Job提交之后，将待处理数据分为N份，每份待处理数据由一个映射（Map）任务进行处理，Map任务运行在该MapReduce分布式系统中的一个节点设备上，一个节点设备上可以运行一个或多个Map任务；所有Map任务的输出结果由汇总（Reduce）任务进行汇总，输出对应的结果。其中，Hadoop是阿帕奇软件基金下的一个开源项目。

然而，在MapReduce分布式系统的文件迁移过程中，是以文件为单位，在同一个任务中进行迁移的，迁移效率不高。

【发明内容】

本发明的多个方面提供一种MapReduce分布式系统的文件迁移方法及设备，用以提高文件的迁移效率。

本发明的一方面，提供一种MapReduce分布式系统的文件迁移方法，包括：

启动用于迁移目标文件的迁移作业，所述迁移作业中至少包含并行执行的第一Map任务和第二Map任务，以及所述第一Map任务和所述第二Map任务对应的Reduce任务，所述目标文件至少包括第一数据和第二数据，所述第一数据存储在至少一个第一数据块中，所述第二数据存储在至少一个第二数据块中；

在所述第一Map任务中，根据所述目标文件的标识信息和所述至少一个第一数据块的标识信息，将所述第一数据拷贝到目标MapReduce分布式系统中；

在所述第二Map任务中，根据所述目标文件的标识信息和所述至少一个第二数据块的标识信息，将所述第二数据拷贝到目标MapReduce分布式系统中；

在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，生成所述目标文件在所述目标MapReduce分布式系统中的元数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标文件的标识信息包括所述目标文件在所述目标MapReduce分布式系统的文件系统中所存储的路径信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，

所述至少一个第一数据块的标识信息为所述至少一个第一数据块的开始位置在所述目标文件中的偏移量；

所述至少一个第二数据块的标识信息在所述目标文件中的偏移量为所述至少一个第二数据块的开始位置在所述目标文件中的偏移量。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，生成所述目标文件在所述目标MapReduce分布式系统中的元数据，包括：