[发明专利]HDFS中数据异地备份的方法及装置

权利要求书

1.一种HDFS中数据异地备份的方法，其特征在于，包括：

确定HDFS中发生变化的数据块，所述HDFS中至少保存一个文件，每个文件至少包括一个数据块；

根据所述HDFS中发生变化的数据块对应的数据块信息，逐个备份发生变化的数据块至异地的HDFS备份集群中。

2.根据权利要求1所述的方法，其特征在于，所述确定HDFS中发生变化的数据块包括：

根据HDFS备份集群中存储的元数据的文件信息与所述HDFS中存储的对应元数据的文件信息，确定发生变化的文件，以确定所述发生变化的文件中发生变化的数据块。

3.根据权利要求2所述的方法，其特征在于，所述发生变化的文件包括：增加的文件、删除的文件或修改的文件中的任一种。

4.根据权利要求3所述的方法，其特征在于，所述发生变化的文件为增加的文件或删除的文件时，增加或删除的文件中包括的数据块均为发生变化的数据块；

所述逐个备份发生变化的数据块至异地的HDFS备份集群中包括：

若所述发生变化的文件为增加的文件，则逐个复制增加的文件中发生变化的数据块，并保存至异地的HDFS备份集群中；

若所述发生变化的文件为删除的文件，则逐个删除异地的HDFS备份集群中的文件中发生变化的数据块。

5.根据权利要求4所述的方法，其特征在于，所述逐个删除异地的HDFS备份集群中的文件中发生变化的数据块包括：

设置异地的HDFS备份集群上存储的文件中发生变化的数据块为待删除状态；

间隔设定的保护时长后，逐个删除设为所述待删除状态的所述数据块。

6.根据权利要求3所述的方法，其特征在于，所述发生变化的文件为修改的文件时，所述确定所述发生变化的文件中发生变化的数据块包括：

确定所述发生变化的文件包括的数据块分别在HDFS备份集群和所述HDFS中的元数据对应的数据块信息，并进行比对，进而确定所述发生变化的文件中发生变化的数据块。

7.根据权利要求2所述的方法，其特征在于，还包括：预先建立信息索引表，所述信息索引表用于存储HDFS备份集群的元数据。

8.根据权利要求1所述的方法，其特征在于，所述确定HDFS中发生变化的数据块对应的数据块信息之前，还包括：分多次获取HDFS中的元数据，以对HDFS中保存的文件进行监控。

9.根据权利要求8所述的方法，其特征在于，在分多次获取HDFS中的元数据时，按照设定的时间间隔，分多次获取HDFS中的元数据。

10.根据权利要求1所述的方法，其特征在于，所述根据所述HDFS中发生变化的数据块对应的数据块信息，逐个备份发生变化的数据块至异地的HDFS备份集群中之后还包括：比对备份后的HDFS备份集群中元数据的文件信息、数据块信息与HDFS的元数据中的文件信息、数据块信息，以校验备份是否完成。

11.一种HDFS中数据异地备份的装置，其特征在于，包括：

数据确认模块,用于确定HDFS中发生变化的数据块对应的数据块信息，所述HDFS中保存的至少一个文件包括多个数据块；

数据同步模块,用于根据所述HDFS中发生变化的数据块对应的数据块信息，逐个备份发生变化的数据块至异地的HDFS备份集群中。