[发明专利]一种高效数据读取的容错编码方法

说明书

技术领域

本发明涉及一种高效数据读取的容错编码方法，属于分布式存储领域。

背景技术

当前，随着分布式系统特别是云计算系统规模的不断扩大，系统中的服务器失效已成常态，这严重影响数据存储的可靠性。针对存储的可靠性问题，云计算系统通常采用数据冗余技术来提高数据的持久性和可用性。目前实际应用中最广泛的数据冗余技术是基于副本(replication)的数据冗余技术。副本冗余技术将原始数据文件复制为n份，分发给不同的网络节点；当一个数据节点失效时再利用可用节点恢复失效数据。然而，基于副本的数据冗余方案大大地增加了存储成本开销，难以有效支持云计算技术的快速发展。

近几年来，基于编码的数据冗余技术成为研究热点。该方案先将原始数据切分成k个原始数据块，再用这些数据块编码生成(n-k)个校验数据块，即共有n个冗余数据块，之后存放到不同的存储节点。相比副本方案，在同等可靠性的情况下，该编码方案可以极大地减少数据的存储空间，换而言之，在同等存储开销的情况下，编码方案可以极大地提高数据的可靠性。编码方案可以既提高数据的可靠性又降低数据的存储开销。目前主要有三类基于编码的数据冗余技术：(1)里德--所罗门编码(Reed-Solomon Codes)[I.Reed，G.Solomon.Polynomial CodeS over certain finite fieldS.Journal of the Society for Industrial and Applied Mathematics.1960，8：300304.]：在用户读取数据时，若原始数据失效，则需要先下载k倍个冗余数据块，然后恢复出所有的原始数据块。因而，随机访问单个原始数据块时，下载的数据量大，不利于数据读取。(2)再生码(Regenerating Codes)[A.G.Dimakis，K.Ramchandran，Y.Wu，et al.A Survey on Network CodeS fbr Distributed Storage.InProceedings of the IEEE.March2011]：由随机网络编码演变而来，采用更加细粒度的数据片(相比数据块)进行编码。相对于里德--所罗门编码，它能降低修复失效数据块所用的网络开销。但用于解码的数据片数量较大且会随着参与修复失效数据的冗余节点数量d(称为修复度数)的增加而增大，进而极大地增加了数据解码的计算复杂度。因此，顺序访问所有原始数据块时，解码计算复杂度高，不利于数据读取。使用精确式编码方案，如intersecting zigzag sets codes(IZS codes：再生码的一种)，可完整地恢复出原有冗余数据块，但同样无法避免由于细粒度编码导致的解码复杂度高问题。(3)层次码(Hierarchical Codes)[A.Duminuco，E.Biersack.Hierarchical Codes：How to Make Erasure Codes Attractive for Peer-to-Peer Storage Systems.In 8th International Conference on Peer-to-Peer Computing(P2P).2008]：与再生码使用了一个大的修复度数d≥k不同，层次码使用了一个小的修复度数d＜＜k。然而，它仍然存在访问单个原始数据块时下载数据量大的问题。

针对基于纠删码的分布式存储系统，在存储开销一致的情况下，当部分节点失效时，现有纠删码技术存在着数据修复通信量大和解码开销高等问题，即导致了数据读取性能低。

发明内容

本发明的技术解决问题是：为克服现有技术的不足，提供一种高效数据读取的容错编码方法，基于intersecting zigzag sets codes(IZS codes)的精确式再生-层次复合编码——IZSHC码，可以显著地提升节点失效情况下的数据读取性能。

本发明技术解决方案：一种高效数据读取的容错编码方法，包括：IZSHC码的编码构造方法与IZSHC码下读取失效数据的方法，两种方法针对数据读取的不同场景。前者用于对待读取的原始数据的冗余处理，即将原始文件进行编码来生成冗余数据块，分为原始数据块和校验数据块；后者则是对失效数据进行有效读取，即读取原始数据块发生失效时利用冗余数据块对失效数据进行解码恢复。后者的解码方法基于前者的编码结构来实施，其中：

1.IZSHC码的编码构造方法，其特征在于实现步骤如下：