[发明专利]一种基于部分复制技术的不等局部可修复喷泉码构造方法

说明书

本发明提出了一种基于部分复制技术的不等局部可修复喷泉码构造方法，用于提高分布式存储网络的文件下载和数据修复能力，基于数据中心、处理单元和存储节点构建分层异构分布式存储网络模型；该方案对原始数据包通过可修复喷泉码编码得到编码后数据包，对编码后数据包利用部分复制技术得到部分复制编码后数据包集合，并发送到存储节点中；当节点发生故障，通过判断故障节点的类型以及故障节点的数量，选取对应修复方式完成修复；当请求文件下载时，可通过判断存活的存储节点数量，灵活选择下载方式完成下载。本发明以微小存储空间为代价，提高使用节点间链路进行数据修复和文件下载的机会，降低数据修复和下载的通信能耗，从而降低整体通信开销。

技术领域

本发明属于通信技术领域，尤其涉及一种基于部分复制技术的不等局部可修复喷泉码构造方法。

背景技术

随着移动设备的日益普及和多媒体应用的激增，近年来数据流量迅猛增长，使得数据存储面临极大的压力和挑战。分布式存储系统凭借较好的可扩展性和低成本得到了越来越多的关注。系统中大量的廉价存储设备使得故障的出现已经成为一种常态。为了保证存储数据的高可靠性，纠删码技术已经在存储系统中得到了广泛的应用。传统的纠删码能够根据编码参数(n,k)将原始数据划分为k个数据块，然后利用编码过程生成n个编码数据块，并将其存储到n个不同的存储节点当中。常见的纠删码包括MDS码、RS码以及LRC码等。

然而，现有的纠删码在进行数据修复时会占用大量的数据带宽，并且需要较大的修复局部(即帮助节点数目)，造成资源的浪费。同时，在修复时间一定的情况下，数据修复成本和下载成本的大小与通过区域内存储节点间链路进行数据通信的可能性有关，尤其是当存储区域内节点数量不足时，节点修复或下载就需要通过访问基站或者数据中心来完成，导致更大的带宽资源开销。

此外，异构性已经成为分布式存储系统的显著特点，在实际环境当中，不同流行度的数据存储、不同区域的服务基站或者不同性能的存储设备等，都会给分布式存储系统带来异构性质，从而导致存储网络产生负载不均衡、通信开销不均衡以及资源浪费等问题。因此，需要一种新的编码机制，既能提高节点间链路的可用性，又能保证系统的冗余度。

发明内容

针对现有技术存在的缺陷和不足，本发明利用分布式存储系统的异构性特点提供了一种基于部分复制技术的可修复喷泉码构造方案(Repairable Fountain Code basedon Partial Duplication Technique,PD-RFC)，通过引入部分重复技术提高节点之间链路使用的概率，以微小的存储空间为代价降低了数据修复成本和下载成本，从而降低整体通信开销。

本发明的目的可以通过以下技术方案来实现：

一种基于部分复制技术的不等局部可修复喷泉码构造方法，包括以下步骤：

步骤1：通过数据中心、处理单元、M个存储节点构建分层异构分布式存储网络模型，将M个存储节点分别划分为系统节点、校验节点，数据中心存储原始海量数据集，将原始海量数据集无线传输至所述处理单元；

步骤2：处理单元将原始海量数据集中多个数据包通过可修复喷泉码编码得到多个可修复喷泉码编码后数据包，将多个可修复喷泉码编码后数据包利用部分复制技术得到部分复制可修复喷泉码编码后数据包集合，处理单元将部分复制可修复喷泉码编码后数据包集合存储至多个存储节点中；

步骤3：当存储节点发生故障时，通过判断故障节点是系统节点还是校验节点、以及故障节点的数量是否超过预设的阈值，选取对应修复方式完成故障节点的修复；

步骤4：当有节点发起文件下载请求时，可通过判断在M₁+M₂个存储节点中存活的存储节点数量是否达到预设阈值，从而选择文件下载方式完成下载请求。

作为优选，步骤1所述构建分层异构分布式存储网络模型为：

所述数据中心与所述处理单元通过无线链路依次连接；