[发明专利]一种基于HDFS文件系统的可靠性增强方法和系统

权利要求书

1.一种基于HDFS文件系统的可靠性增强方法，其特征在于，所述方法包括：

在HDFS集群前增加一个缓存代理，缓存代理将上载数据生成多个缓存块，并且将多个缓存块按位做XOR编码生成X数据块，缓存代理将包含X数据块的所有缓存块申请位置信息；

基于位置信息，验证消亡任一缓存块对应的所有数据节点，确认满足X副本恢复条件后，将数据副本上传到数据节点，记录数据块的绑定信息；

所述方法进一步包括：

步骤1，Client提交数据给缓存代理，缓存代理返回提交成功响应；

步骤2，缓存代理缓存数据至N个缓存块时，将所有缓存块按位做XOR编码生成X数据块，缓存代理向名称节点请求真实位置；

步骤3，缓存代理确定真实位置满足X副本恢复条件；

步骤4，缓存代理上传一个副本到数据节点，数据节点自行将其他副本内部复制；完成存储的数据块返回名称节点，名称节点记录元数据，缓存代理记录数据块的绑定关系；

所述步骤3进一步包括：

消亡真实位置中具有任一数据块的各数据节点，用X数据块替代消亡的该任一数据块，确认全部数据块存在，则满足X副本恢复条件；

所述副本为HDFS存储数据技术遵循的三副本原则中拆分的数据块。

2.根据权利要求1所述的方法，其特征在于，所述缓存代理用于将上载数据生成N个缓存块，N大于等于5；当缓存块不够凑足N个时，用全0数据块补齐。

3.根据权利要求1所述的方法，其特征在于，所述X副本恢复条件具体为：

假设缓存块数为N，N=5，副本数为M=2；将某一缓存块的M个副本所在的数据节点全部消亡；剩余其他数据节点含有除该缓存块以外的所有缓存块和XOR编码的数据块，则满足该缓存块的副本恢复条件，否则不满足该缓存块的副本恢复条件；重复验证所有缓存块均满足恢复条件，则整体满足副本恢复条件，否则不满足副本恢复条件。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括数据恢复步骤：

缓存代理调取存储的绑定关系，读取HDFS上尚存的数据块及X数据块；如果存在丢失则利用XOR恢复方法，恢复丢失的数据块，重复读取和恢复步骤，直至恢复整个文件。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括存储文件的XOR冗余备份步骤，包括：

添加缓存代理，由缓存代理按文件的顺序读取每一个数据块并生成X数据块；

申请X数据块的实际位置并验证是否满足副本恢复条件，满足副本恢复条件则存入X数据块，直至整个文件全部添加X数据块。

6.一种基于HDFS文件系统的可靠性增强系统，其特征在于，在HDFS集群前部署一个缓存代理，所述缓存代理用于：

将上载数据生成多个缓存块，并且将多个缓存块按位做XOR编码生成X数据块，将包含X数据块的所有缓存块申请位置信息；

基于位置信息验证消亡任一缓存块对应的所有数据节点，仍能恢复所有数据后，将数据副本上传到数据节点，记录数据块的绑定信息；

还用于，

接收Client提交数据后返回提交成功响应；

缓存所述数据至N个缓存块时，将所有缓存块按位做XOR编码生成X数据块，并向名称节点请求真实位置；

确定所述真实位置满足X副本恢复条件；

上传一个副本到数据节点，数据节点自行将其他副本内部复制；完成存储的数据块返回名称节点，名称节点记录元数据，缓存代理记录数据块的绑定关系；

所述验证的 过程包括：

消亡真实位置中具有任一缓存块的各数据节点，用X数据块替代消亡的该任一缓存块，确认全部缓存块存在，则满足X副本恢复条件；

所述副本为HDFS存储数据技术遵循的三副本原则中拆分的数据块。