[发明专利]一种可容多错交叉循环卷积码的局部性修复编码方法

说明书

本发明公开了一种可容多错交叉循环卷积码的局部性修复编码方法，该方法考虑到存储系统中存储的数据量大，存储节点数增多，若采用传统部分重复码构造局部性修复编码，当节点出现故障时，故障节点修复方案单一，修复过程中的磁盘I/O开销较大，同时系统的容错能力较低，为此在分布式存储系统中采用可容多错交叉循环卷积码，在修复故障节点过程中修复方案较多，磁盘I/O开销相对较低且提高了系统的容错能力。

技术领域

本发明属于计算机领域，涉及一种可容多错交叉循环卷积码的局部性修复编码方法。

背景技术

随着存储数据的爆炸性增长，存储系统规模也成倍增长，这意味着存储节点海量化，为了确保存储数据的可用性和可靠性，存储系统通常采用“复制”和“纠删码”策略，然而“复制”策略存储代价较高，需要存储大量副本数据确保系统较高的可靠性，“纠删码”策略在节点修复过程中带宽开销过大，需要存储系统具有较高的网络带宽。针对“复制”和“纠删码”策略存在的不足，提出了再生码，但再生码在故障节点修复过程中连接的节点数量较多，具有较高的磁盘I/O开销，且故障节点修复方案单一，不能满足当前海量化的存储节点要求，同时系统的容错能力较低，这使得存储系统中故障节点修复存在局限性。

发明内容

针对上述现有技术中存在的缺陷或不足，本发明的目的在于，提供一种可容多错交叉循环卷积码的局部性修复编码方法，该方法可以容许系统的多个节点同时出现故障，且故障节点的修复方案较多，同样降低了故障节点修复过程中的磁盘I/O开销。

为了实现上述目的，本发明采用如下技术方案：

一种可容多错交叉循环卷积码的局部性修复编码方法，该方法用于将原始文件M存储到分布式存储系统中的节点上，分布式存储系统中的节点至少包括2n个，其特征在于，包括以下步骤：

步骤1，将原始文件M分成k个原始数据块，对k个原始数据块采用(n,k) 系统MDS码进行编码，得到n个编码数据块c₁,…,c_n-1,c_n；

步骤2，将n个编码数据块复制2次，每个编码数据块形成3个副本；

步骤3，在分布式存储系统中随机选取n个节点作为n个数据节点 N₁,...,N_i,...N_n；

步骤4，将n个编码数据块的3个副本存储到选取的n个数据节点上；采用的方法如下：

对于数据节点N_i，当1≤i≤n-1时，，该数据节点N_i上存储的编码数据块是c_i、c_i+1和c_i+2；当i＝n时，该数据节点N_i上存储的编码数据块是c_n、c₁和c₂；

步骤5，在分布式存储系统中随机选取除去步骤3选取的n个数据节点以外的n个节点作为n个校验节点N_n+1,...,N_n+j...,N_2n；

步骤6，在n个编码数据块c₁,…,c_n-1,c_n中选取两个编码数据块c_a和c_b进行异或编码操作，得到n个校验数据块c_a,b；其中，1≤a≤n,b＝a+1，当a＝n时， b＝1；

步骤7，将n个校验数据块分别存储到n个校验节点N_n+1,...,N_n+j...,N_2n上，采用的方法如下：