[发明专利]一种用于分布式存储系统节点修复的编码方法

说明书

一种用于分布式存储系统节点修复的编码方法，首先提取分布式存储系统的编码参数并构建存储系统的编码模型，引入保护列、设计列，得到扩展后的编码模型，然后根据归一化修复带宽的偏导确定两者的比例，进而得到保护列、设计列取值，最后根据保护列、设计列取值建立附加信息构造矩阵并完成附加信息的构造，将附加信息叠加到设计列的检验信息之上，完成generalized piggybacking code的编码构造。本发明没有额外存储开销，在节点修复过程中能够保持存储系统原先的译码特性不变，另外在节点修复过程中不需要复杂的矩阵运算，只需要简单的线性叠加运算，复杂度低，便于实现，具有很好的实用价值。

技术领域

本发明涉及分布式存储领域，特别是一种用于分布式存储系统节点修复的编码方法。

背景技术

分布式存储系统因其投入成本低，存储效率高等优点而广泛被大型网络应用所采纳，但是受到频发的故障、维护等因素的影响，分布式存储系统各个分离的存储节点的可靠性已经成为影响分布式存储系统性能的重要因素。目前，以纠删码为代表的差错控制编码技术已经应用到分布式存储系统中。

最大距离可分(Maximum distance separable，MDS)码是一种最常用于存储系统的纠删码技术，在一个参数为(n,k,d)的MDS码中，n代表码长，k为信息的维度，它的最小汉明距离是d＝n-k+1。对于固定的参数n和k，MDS码的最小汉明距离d＝n-k+1达到了最大的可能取值，因此最大距离可分码可以纠正码字中多达(n-k)个删除错误。使用参数为(n,k)的最大距离可分码进行编码的分布式存储系统如图1所示，该分布式存储系统首先将待存储的原始数据分割成k个信息片段，然后使用(n,k)最大距离可分码编码成n个信息片段，最后再将这n个信息片段分散的存储在n个分离的节点中去。这样便可以用系统中任意k个节点信息恢复出原始数据，换言之，整个系统可以抵抗任意(n-k)的节点的损坏。

通过引入冗余信息，整个系统的可靠性有了大幅度的提升。当一些节点损坏后，利用健全节点的数据来恢复损坏节点内丢失的数据的节点修复技术也成为了保持整个分布式存储系统可靠性的一个最主要的手段。节点修复的示意图如图2所示，衡量一个节点修复技术性能的一个关键指标叫做“修复带宽”，修复带宽是指为了修复分布式存储系统中的单个损坏节点而需要从其他健全节点获取的数据量。

对于采用MDS编码的分布式存储系统，当然可以利用MDS码自身的删除修复特性来进行节点修复，但是这个过程的修复带宽比较大：假如采用参数为(n,k)的MDS编码的分布式存储的一个存储节点发生损毁，利用剩下任意k个健全节点的数据就能恢复出整个文件系统，从而修复了损毁节点的数据。可见此过程的修复带宽为k个节点的数据量，相当于原始存储信息的大小。当前有很多研究者都致力于分布式存储系统的节点修复的方法的研究，其中具有代表性的工作是再生码(Regenerating Codes)。2010年美国南加州大学的A.G.Dimakis教授提出了用再生码来减少分布式存储系统修复节点数据时所需要的修复带宽。再生码利用网络编码的思想，将存储和修复过程转化为多播问题，并利用图论中的最大流最小割理论推导出了再生码可以达到的修复带宽的理论下界。但是再生码在面对实际系统的使用存在几个很大的问题：1、再生码不能在存储系统原有的编码基础上升级，而是要重新设计部署整个系统，系统改造成本较大；2、再生码并不是对所有码参数(n,k为任意满足n>k的整数)都有效；3、再生码的构造过程复杂，其修复过程的计算复杂度也很大，因此目前几乎没有采用再生码的分布式存储系统。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种用于分布式存储系统节点修复的编码方法。

本发明的技术解决方案是：一种用于分布式存储系统节点修复的编码方法，包括如下步骤：

(1)提取当前分布式存储系统所采用的纠删码参数，使用纠删码参数对原始信息进行编码并分别存储在分布式存储系统；

(2)生成多组分布式存储系统编码模型；