[发明专利]一种分布式自适应编码存储方法

说明书

技术领域

本发明涉及一种信息安全存储领域的编码存储方法，特别涉及一种分布式自适应编码存储方法。

背景技术

在以数据为中心的信息时代，特别是近年来，数据呈现爆炸式增长，如何安全有效的以较低存储空间获得数据的安全可用性是存储领域面临的重大问题。以较低的冗余度安全可靠地保存数据是存储领域在新世纪提出的挑战性问题之一，如何提高存储系统的可持续容灾能力也成为业界研究的重点。目前，为提高系统的可靠性或性能，主要是采用复制的方案，但是在大规模分布式系统中有效地实现共享数据的一致性是复制技术所面临的主要难题。同时，为提高系统的可靠性，对文件的多份复制大大提高了数据的冗余度，对于大数据量存储来讲，大大的提高了数据的存储成本，同时专用存储设备较为昂贵，且不容易扩展。

发明内容

针对现有技术存在的问题，本发明的主要目的在于提供一种冗余度低，且适用于存储节点个数不确定的对等网络或者自组织网络中。

为实现上述目的，本发明提供了一种分布式自适应编码存储方法，应用于分布式系统中，该分布式自适应编码存储方法包括如下步骤：

(1)检测分布式系统中存储节点的个数；

(2)根据系统中存储节点的个数进行自适应调整码字，对需要存储的文件进行自适应编码；

(3)将编码后的文件按节点个数进行等分；

(4)将等分后的文件以统一的文件封装格式封装成文件块，各文件块均包含编码块、信息块和校验块，所述编码块中包含码字信息；

(5)将封装后的文件块存储至系统中的各节点；

(6)当某一节点发出文件需求请求，则检测在线存储节点并判断节点是否完整；

(7)若节点完整，则将所有在线存储节点的信息块发送至文件请求节点，按顺序重组获得原文件；

(8)若节点不完整，则利用仍在活动的在线存储节点的文件块译码获取缺失的信息块，将译码出缺失的信息块和现有的信息块按顺序重组获得原文件；在存储节点对丢失的信息块进行恢复后，再次利用自适应编码方法进行二次编码和文件封装以重新恢复丢失的文件块，并将重新恢复的文件块按顺序存储在仍在活动的在线存储节点上。

其中，上述分布式自适应编码存储方法的步骤之一“根据系统中存储节点的个数进行自适应调整码字，对需要存储的文件进行自适应编码”具体包括如下步骤：

(1)分布式系统中存储节点的个数为m，构造一个参数为(n-t，n-1，t，(n-t)×t/(n-1))的纠删码，使其码字之间距离相等，即构造参数为(n-t，n-1，t，(n-t)×t/(n-1))的矩阵各行的数值为1的个数相等，各列的数值为1的个数也相等的码字，保存为码字信息，其中n≥m，n＞t，具体包括如下步骤：①令n＝m；②在1与n之间寻找t，使得(n-t)×t/(n-1)整除成立，且t≠1，t≠n；③若不存在t使得(n-t)×t/(n-1)整除成立，则让n＝n+1，并返回上述步骤②，直至存在t使得(n-t)×t/(n-1)整除成立；④计算使得取最小值时的t，即此时n，t为所选择参数；⑤将(n-t)×(n-1)矩阵A的第0列至第t-1列的所有元素赋值为1，其他元素赋值为0；⑥对列t≤j＜n-1，计算矩阵A第j列的数值为1的个数，如果第j列的数值为1的个数小于(n-t)×t/(n-1)，必然a_i，j′＝1使得第j′列中数值为1的数量大于(n-t)×t/(n-1)，其中0≤j′＜n-1，且j′≠j，则赋值a_i，j＝1，a_i，j′＝0；⑦重复上述步骤⑥，直到矩阵A每列中1的个数均等于(n-t)×t/(n-1)；

(2)将构造出的矩阵A上的点随机划分为t个所含元素数相等的集合D₀…D_i-1，校验块可由如下公式得出：i＝n-t…n-1，j＝0…n-1，其中，d_i-(n-t)，s为与集合D_i-(n-t)中的元素对应的矩阵A中的点。

上述分布式自适应编码存储方法中涉及的编码块，除码字信息外，还包括：数据块大小、编码块大小、信息块大小、校验块大小、数据块标号、扩展信息和分组信息，其中数据块大小等于编码块大小、数据块大小和校验块大小之和，利用编码块大小、数据块大小和校验块大小可以分别获取文件块中的编码块、数据块和校验块。

上述分布式自适应编码存储方法的步骤之一“若节点不完整，则利用仍在活动的在线存储节点的文件块译码获取缺失的信息块”有多种实现方式如下：

第一种实现方式包括如下步骤：