[发明专利]一种部分重复码的扩张构造方法

说明书

本发明公开了一种部分重复码的扩张构造方法，包括选择一个参数给定的基础部分重复码；确定选择的基础部分重复码的扩张参数，将其符号集分成两个部分；将两个部分的符号集和相应的副本分散存储到扩张后的区组中；从满足要求的部分重复码中选择存储容量最大的码字，作为基础部分重复码的扩张。本发明提出的部分重复码的扩张构造方法参数选择灵活、构造方式简单，能够增加系统的存储容量、提高系统的容错性，具有很好的实用价值。

技术领域

本发明属于大数据处理领域，具体涉及一种部分重复码的扩张构造方法。

背景技术

随着计算机技术的飞速发展和互联网应用的不断普及，网络信息量呈现出爆炸性的增长。在大数据时代，海量数据对存储系统提出了严峻的挑战。传统集中式的文件系统已经无法满足大数据的存储需求，建立支持海量数据存储的新型文件系统成了大数据领域的一个重要研究课题。近年来，分布式存储系统以其高可用性、高可扩展性等优势，日益成为海量数据存储的主流系统。然而，在大规模分布式系统部署中，存储数据的物理设备容易发生故障，如节点离线、突发断电等，使得系统的可靠性面临严峻考验。为了保证数据的可用性，分布式存储系统需要引入数据冗余。传统基于复制的方案简单易于管理，并且支持高效的数据恢复。但是，复制机制的缺点在于存储开销大、存储效率低。

在相同冗余的情况下，纠删码技术可以大幅提高系统的存储效率。目前商用分布式存储系统中，数据编码方法一般采用最大距离可分(Maximum Distance Separable,MDS)编码，能够达到最佳的存储效率。一个参数为(n,k)的MDS码将原数据文件划分成k个大小相等的数据块，并通过线性编码生成n个不同的编码块。如果将上述n个编码块分散存储到n个节点上，则系统n个节点中任意k个就能够重构出原文件。如图1为MDS码的编解码方式示意图，该数据重构性质称为MDS特性。这种编码技术在提供有效存储冗余中占有重要的地位，特别适合大文件存储以及档案数据备份应用。特别地，Reed-Solomon(RS)码是一种典型的满足MDS码特性的码字。

当分布式存储系统中出现节点失效时，为了保持系统既定的冗余量，需要恢复该失效节点存储的数据并存储到一个新的节点中，该过程称为节点修复过程。对于传统的RS码，其节点修复过程需要首先从k个未失效节点下载数据并解码出原文件，重新编码进而再生出丢失的数据并存储到新引入的节点上，如图2为MDS码的节点修复方式示意图。为了恢复一个失效节点丢失的数据而解码出整个原数据文件，对网络带宽来说是一种巨大的浪费。

为了节点降低修复过程中的带宽消耗，文[A.G.Dimakis,P.B.Godfrey,Y.Wu,M.Wainwright,and K.Ramchandran,“Network coding for distributed storagesystems,”IEEE Trans.Inf.Theory,vol.56,no.9,pp.4539–4551,Sep.2010]利用网络编码的思想提出了再生码的概念。再生码保留了MDS特性，即系统n个节点中任意k个节点存储的数据即可重构出原文件。传统的再生码修复过程中，替换节点需要在未失效的节点中随机选择d个并从这d个存储节点分别下载大小为β的数据，所以其修复带宽为dβ。再生码的节点修复过程中不需要重构出原文件，因此修复带宽优于RS码。特别地，当节点修复带宽等于存储容量时，该码字称为最小带宽再生码。