[发明专利]一种适用于磁盘阵列及分布式存储系统的二容错编码方法

说明书

技术领域

本发明涉及一种适用于磁盘阵列及分布式存储系统的二容错编码方法，属于编码论中的纠删码技术领域。

背景技术

信息社会中数据量的爆炸式增长对大容量可靠存储提出了更高的要求。为此，存储系统一方面不断提高单个磁盘的容量，一方面通过磁盘阵列或者分布式存储的形式将多个磁盘整合起来提供大容量的可靠存储服务。由于应用了大量的廉价磁盘，磁盘失效的情况经常发生。为保障数据可靠性，系统需要存储一定的冗余数据，以便能够在某些磁盘失效的情况下仍然可以恢复出所存储的信息。每当有磁盘失效时，系统需要在一个替代磁盘上重构失效磁盘上存储的数据。这一过程称为数据修复过程。

二元有限域上的阵列码，这类编码将存储的数据抽象为一个m行n列的阵列，阵列中的每个元素为一个比特，即二元有限域上的一个元素。实际应用中阵列的元素可以为等长的比特序列(通常称为一个数据块)。每个存储节点存储阵列中的一列，因而n即存储节点的个数。对于能够容忍两个磁盘失效的二容错阵列码，阵列中的前k＝n-2列存储未编码的原始数据，第k+1列和k+2列存储冗余数据。存储原始数据的列(节点)通常称为系统盘，冗余数据的列(节点)通常称为校验盘，校验盘中的每个元素都由系统盘中若干个原始数据元素经过异或运算所得，即奇偶校验和。RAID-6系统是这类编码的一个典型应用场景。通常RAID-6编码中第k+1列中的每个元素由系统盘中(即前k列中)位于同一行的元素经过异或运算所得，因而又称为行校验。RAID-6系统规范并未限定第k+2列冗余数据的生成方法。

当有单个存储节点失效时，传统阵列码的修复方法是：如果失效的节点为校验盘，则根据编码的定义再次通过系统盘上的数据生成冗余数据；如果失效的节点为系统盘，则利用剩余的k-1个系统盘与一个校验盘恢复失效节点上存储的数据。这两种情况都需要从k个盘中总共读取m*k个元素来进行数据修复，消耗了大量的磁盘读写(I/O)资源。近年来有学者针对已有的RAID-6编码设计了特别的修复算法，允许从剩余的k+1个可用磁盘中读取数据，充分利用两个校验盘中的校验数据，使得修复单个磁盘时平均所需读取的数据量降低了约25％。

发明内容

本发明的目的是，为了在单个磁盘失效时，能够及时高效地恢复损坏磁盘上所存储的数据，本发明提出一种适用于磁盘阵列及分布式存储系统的二容错编码方法。

本发明的技术方案适用于磁盘阵列及分布式存储系统的二容错编码方法包括编码方案和单个磁盘错误修复方案。所述方法除最后一个冗余节点失效的情况外，修复单个数据节点过程中每一个正常工作的数据节点仅需读取所存储数据块的一半，并且在传输前无需对读取的内容进行编码运算；所述方法将一个磁盘阵列划分为多个条带，每个条带由各个磁盘中一块相同大小的存储空间组成，每个磁盘在不同条带中的校验盘与系统盘进行轮转循环。

所述编码方案包括冗余节点所存储的校验数据生成和构造编码矩阵。

所述冗余节点所存储的校验数据生成方法为，设系统中共有n个磁盘，其中有k＝n-2个系统盘，令m＝2^k，将待存储的原始数据划分为等长的mk个数据块，每个系统盘中存储m个数据块的原始数据。为了描述方便，我们用a_i,j表示第i个盘中存储的第j个数据块。将每个盘中存储的数据看作长度为m的列向量并记为a_i＝(a_i,1,a_i,2,…,a_i,m)^T，这里上标T表示矩阵转置。第一个校验盘采用行校验编码，即a_k+1＝a₁+a₂+…+a_k。这里加法为异或运算。第二个校验盘的数据可以表示为a_k+2＝A₁a₁+A₂a₂+…+A_ka_k，其中A₁,A₂,…,A_k为m行m列的矩阵，其中的元素都取自二元有限域。通过给出矩阵A₁,A₂,…,A_k的构造方法来给出第二个校验盘的编码方案。

对于任意给定的参数k，采用以下算法构造编码矩阵：

第1步：令i←1；

第2步：若i＝k，则输出矩阵A₁,A₂,…,A_k；否则进行下一步；