[发明专利]MapReduce分布式系统的文件迁移方法及设备

权利要求书

1.一种MapReduce分布式系统的文件迁移方法，其特征在于，包括：

启动用于迁移目标文件的迁移作业，所述迁移作业中至少包含并行执行的第一Map任务和第二Map任务，以及所述第一Map任务和所述第二Map任务对应的Reduce任务，所述目标文件至少包括第一数据和第二数据，所述第一数据存储在至少一个第一数据块中，所述第二数据存储在至少一个第二数据块中；

在所述第一Map任务中，根据所述目标文件的标识信息和所述至少一个第一数据块的标识信息，将所述第一数据拷贝到目标MapReduce分布式系统中；

在所述第二Map任务中，根据所述目标文件的标识信息和所述至少一个第二数据块的标识信息，将所述第二数据拷贝到目标MapReduce分布式系统中；

在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，生成所述目标文件在所述目标MapReduce分布式系统中的元数据。

2.根据权利要求1所述的方法，其特征在于，所述目标文件的标识信息包括所述目标文件在所述目标MapReduce分布式系统的文件系统中所存储的路径信息。

3.根据权利要求1或2所述的方法，其特征在于，

所述至少一个第一数据块的标识信息为所述至少一个第一数据块的开始位置在所述目标文件中的偏移量；

所述至少一个第二数据块的标识信息在所述目标文件中的偏移量为所述至少一个第二数据块的开始位置在所述目标文件中的偏移量。

4.根据权利要求1或2所述的方法，其特征在于，所述在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，生成所述目标文件在所述目标MapReduce分布式系统中的元数据，包括：

在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，修改所述目标MapReduce分布式系统所维护的映射表中的元数据，以生成所述目标文件在所述目标MapReduce分布式系统中的元数据；或者

在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，根据所述目标MapReduce分布式系统所维护的映射表中的元数据，重新将所述第一数据和所述第二数据拷贝到一个新的文件中，以作为所述目标文件，以及生成所述新的文件在所述目标MapReduce分布式系统中的元数据。

5.根据权利要求1或2所述的方法，其特征在于，所述迁移作业，具体用于

将所述目标文件从源MapReduce分布式系统中迁移到所述目标MapReduce分布式系统中。

6.一种MapReduce分布式系统的文件迁移设备，其特征在于，包括：

启动单元，用于启动用于迁移目标文件的迁移作业，所述迁移作业中至少包含并行执行的第一Map任务和第二Map任务，以及所述第一Map任务和所述第二Map任务对应的Reduce任务，所述目标文件至少包括第一数据和第二数据，所述第一数据存储在至少一个第一数据块中，所述第二数据存储在至少一个第二数据块中；

第一Map任务执行单元，用于在所述第一Map任务中，根据所述目标文件的标识信息和所述至少一个第一数据块的标识信息，将所述第一数据拷贝到目标MapReduce分布式系统中；

第二Map任务执行单元，用于在所述第二Map任务中，根据所述目标文件的标识信息和所述至少一个第二数据块的标识信息，将所述第二数据拷贝到目标MapReduce分布式系统中；

Reduce任务执行单元，用于在所述Reduce任务中，根据所述目标文件的标识信息、所述至少一个第一数据块的标识信息和所述至少一个第二数据块的标识信息，生成所述目标文件在所述目标MapReduce分布式系统中的元数据。

7.根据权利要求6所述的设备，其特征在于，所述目标文件的标识信息包括所述目标文件在所述目标MapReduce分布式系统的文件系统中所存储的路径信息。