[发明专利]基于完全图的异构部分重复码构造及故障节点修复方法

说明书

本发明属于计算机领域，公开了一种基于完全图的异构部分重复码构造方法及故障节点修复方法。本方法主要是通过对原文件的数据块进行MDS编码生成编码块，并根据完全图的顶点、边和角的关系，构造出编码块重复度不同的异构部分重复码。在单节点故障或连续的两个节点故障修复过程中均仅从m‑2个存活节点中采集编码块，并将采集到的编码块传送给新节点，即可实现故障节点的修复。在故障节点的修复过程中，减少了连接存活节点数、修复故障节点的磁盘I/O开销和修复时间。修复单节点故障或修复任意连续两个节点故障都有多种修复方案可供选择，有效的提高了系统的可用性和可靠性。

技术领域

本发明属于计算机领域，具体涉及一种基于完全图的异构部分重复码构造及故障节点修复方法。

背景技术

当前互联网技术发展迅速，信息技术已经渗透到社会生活的各个领域，并且正从计算时代步入存储时代，这使得数据急剧增长。传统的数据存储方案已经不能适应于当前海量数据的存储，分布式存储系统逐渐成为主流的数据存储方式。通常，分布式存储系统采用“复制”和“纠删码”技术来产生一定的冗余数据，但“复制”冗余策略产生的存储代价过高。而纠删码可以使分布式存储系统的存储开销达到最优，但修复单个故障节点必须还原整个文件，带宽开销过大。针对“复制”和“纠删码”冗余策略存在的局限性，Dimakis等人提出了再生码。再生码在故障节点修复过程中连接的节点数量较多，具有较高的磁盘I/O开销。部分重复码融合了复制和再生码技术，使得修复故障节点时只需从部分存活节点下载少量数据块，并将下载的数据块传输给新节点，无需其他运算操作。然而，大部分传统的部分重复码的构造都是基于同构分布式存储系统。实际上，在分布式存储系统中，用户对数据的访问往往是不均衡的，“热数据”数据经常被访问，“冷”数据很少被访问。若采用相同的数据重复度的传统的部分重复码不但会增加存储开销，还会造成“热数据”访问拥挤等瓶颈问题。

发明内容

本发明的目的在于提供一种基于完全图的异构部分重复码构造方法及故障节点修复方法，用以解决现有技术中同构部分重复码存储开销较大，且易造成“热数据”访问拥挤，以及码构造方法复杂、节点修复过程中修复局部性大、节点修复选择性小等问题。

为了实现上述任务，本发明采用以下技术方案：

基于完全图的异构部分重复码构造方法，包括如下步骤：

步骤1：将原始文件分成k个原始数据块，对k个原始数据块进行(n,k)MDS编码，得到n个编码块C₁,C₂,…，C_n，其中n、k为正整数；

步骤2：建立包括m个顶点的完全图，用1，2，…，m沿顺时针方向依次对完全图的m个顶点编号，从1号顶点开始按照顺时针方向，先用1、2、…、m，依次对完全图的最外层m条边编号，然后从顶点1按顺时针方向开始用m+1、m+2、…、n依次对完全图内部的边编号，其中，n＝m(m-1)/2且m≥5；

步骤3：将完全图分为m个集合S_i，i＝1，2，…，m，集合S_i对应顶点i且S_i包含三条对边，所述三条对边为三个内夹角所对应的完全图最外层的边，所述三个内夹角为从顶点出发沿顺时针方向与该顶点相连且两两相邻的前四条边所构成的夹角；

步骤4：将完全图分为m个集合E_i，集合E_i对应顶点i且E_i包含m-3条边，所述E_i中的边为与顶点i不相邻的m-3个顶点与顶点i连接所构成的边；

步骤5：令1至m个顶点分别对应1至m个节点，对于节点i，首先存有三个重复度为3的编码块且三个编码块的编号依次对应S_i内的三条对边的编号，然后存有m-3个重复度为2的编码块且m-3个编码块的编号依次对应E_i内的m-3条边的编号，最终获得m个节点且每个节点存有m个编码块，完成异构部分重复码的构造。