[发明专利]一种由极大距离可分存储码生成最小存储再生码的方法

说明书

本发明公开了一种将系统节点具有最佳修复性质的极大距离可分存储码转换成最小存储再生码的方法，所得的最小存储再生码适用于分布式存储系统。该转换方法所基于的极大距离可分存储码是非二元的，转换过程不改变原存储码的字母表大小。若该转换方法所基于的极大距离可分存储码的系统节点具有最佳存取性质，则转换后得到的最小存储再生码具有最佳存取性质。本发明有益效果是：(I)系统的存储开销非常小；(II)任意一个失效节点都能被最佳修复，修复失效节点的过程中只消耗最小的带宽资源；(III)若采用系统节点具有最佳I/O修复性质的MDS存储码作为基码,修复失效节点时I/O开销也最小。

技术领域

本发明涉及分布式存储系统领域，特别涉及一种适用于分布式存储系统的将系统节点具有最佳修复性质的极大距离可分存储码转换成最小存储再生码的编码技术。

背景技术

为提高分布式存储系统的可靠性，冗余是不可或缺的。一般来说，有两种增加冗余的机制：复制和纠删。与重复码相比，在冗余量相同的情况下纠删码能提供更多的可靠性，所以更具优势。而在所有的纠删码中，极大距离可分(MDS)码如Reed-Solomon码因为在冗余量相同的情况下具有最大的纠删错误能力，被广泛用于Google Colossus、MicrosoftAzure等多个分布式云存储系统。通常，将源文件均分成k份，采用一个(k+r,k)的MDS码进行编码后得到k+r份数据，然后分别存放在k+r个独立的存储设备上，这些设备也被称为节点。

但是对于大型分布式云存储系统，各个节点的可靠性不高，失效现象经常发生，节点失效会增加数据丢失的可能性、降低系统的可靠性，而其中单节点失效高达98.08％。为了维持一定的冗余量，系统会频繁地进行节点修复，常用的修复方式是从其它存活的节点中下载数据以修复该失效节点，这些节点也被称之为帮助节点。在修复过程中，所下载数据的量被称为修复带宽，实际系统中为降低开销，修复带宽应该最小化。然而，传统MDS存储码的修复方法是连接任意k个帮助节点下载全部数据，从而重构源文件，然后再编码产生失效节点里的数据，相应的修复带宽最大，这给分布式存储系统带来极大的开销。

文献Network coding for distributed storage systems,IEEE Trans.onInformation Theory,vol.56,no.9,p.4539-4551,September 2010(基于网络编码的分布式存储系统，IEEE信息论汇刊，第56卷，第9期，第4539-4551页，2010年9月)确定了存储编码的最小修复带宽，达到最小修复带宽的节点被称为具有最佳修复性质，所有节点都具有最佳修复性质被称之为再生码，其中最重要是两类编码：最小存储再生(MSR)码和最小修复带宽再生(MBR)码。

具体地，MSR编码将一份大小为kN个元素的源文件均分成k份，每份包含N个元素，用长度为N的列向量f_i表示，0≤i<k.对原始数据编码后得到r份校验数据，同样用长度为N的列向量f_i表示，k≤i<k+r。将这k+r份数据分别存放在一个包含在k+r个节点的分布式存储系统中。一个(k+r,k)MSR码具有：(1)MDS性质，即连接任意k个节点可以重构源文件，参见附图1；(2)最佳修复性质，即一个失效节点的修复带宽为γ＝dN/(d-k+1)，这可以通过连接d(k≤d≤k+r-1)个帮助节点个数，从每个帮助节点中下载N/(d-k+1)个元素实现，如附图2所示。

特别需要指出，上述文献中所构造的存储码是功能修复码，即代替失效节点的新节点存储的数据可以与失效节点原来的数据不一样但在功能上等价；然而，要求代替失效节点的新节点存储的数据与失效节点原来的数据完全一样的精确修复MSR码，能在实际应用中减小系统的复杂度，因而更受实际系统欢迎。此外，目前已知的精确修复MSR码都考虑d＝k+r-1的情形来最大的减小修复带宽。本发明也考虑这一种情况。