[发明专利]基于低修复带宽的云存储系统及方法

说明书

本发明提供了一种基于低修复带宽的云存储系统，包括数据插入和读取模块、编码预处理模块、数据文件编码模块、数据文件解码模块、数据文件管理模块、数据存储模块以及数据修复模块；同时提供了一种基于低修复带宽的云存储方法，包括系统初始化阶段、用户插入数据阶段、数据文件编码阶段、用户读取数据阶段、数据文件解码阶段以及故障节点的修复阶段；本发明通过引入纠删码技术，在保证数据存储可靠性的同时降低数据存储的冗余度；针对故障节点修复过程带来的网络阻塞问题，采用了网络编码和干扰对其技术，引入了互信息量的解决方案。具有数据存储的可靠性性易于保证，同时缓解了故障节点修复过程中网络的拥塞程度。

技术领域

本发明属于数据存储领域，具体是通过数据编码来增强存储可靠性的基于低修复带宽的云存储系统及方法，用于降低节点发生故障时产生的修复带宽。

背景技术

近年来，随着互联网技术日新月异的快速发展，以及整个信息行业的发展，无论是个人信息还是企业数据都在爆炸式的增长。因此目前有越来越多的厂商推出了云存储服务。

云存储服务允许用户远程存储数据并且方便地分享这些信息。尽管云存储给用户带来了巨大的便利，但是存在一个关键的问题是如何降低故障节点的修复带宽，缓解节点修复过程中网络的阻塞状况。

为了降低数据存储成本，云服务商采用纠删码技术来降低数据存储的冗余度。纠删码的工作原理，用户的原始数据被平分成k个文件块，通过线性编码

生成n块编码数据，然后存储在n个不同的节点，接收端通过获取k(k′≥k)个可用的编码数据，就可以重构出原始数据。对于MDS码，k′＝k。因此，MDS码是一类存储效率非常高的编码方案。通过引入纠删码技术，存储成本得到了有效控制。MDS代码在冗余和可靠性权衡方面是最优的。当节点发生故障时，传统的修复方案是将k个节点的内容发送到新节点。新节点可以重建所有原始数据，并使用它来构造故障节点的内容。这种修复方案简单，但在网络中会产生k倍于故障节点存储数据的通信量，进而导致网络的阻塞。在故障节点修复过程中产生的通信量被称为修复带宽，而如何减少修复带宽被称为修复问题。在大规模分布式存储系统中，节点发生故障非常频繁。为了有效降低故障节点引发的网络拥塞，基于网络编码的修复机制是必不可少的。

根据新节点的数据是否与故障节点的数据完全相同，可以把修复策略分为3种:

函数修复：新节点的数据不一定与故障节点的数据完全相同，只需要与存活节点联合起来组成MDS码即可。

精确修复：新节点的数据与故障节点的数据完全相同。

部分精确修复：前两者修复方案的一个折中，它对系统节点进行精确修复，对校验节点进行函数修复。

存储系统采用的纠删码，一般情况下是(n，k)系统纠删码，即前k个节点的数据未经编码，剩余(n-k)个节点的数据是经过线性编码的。在系统维护过程中，保证系统码编码方案不变，非常重要。因为系统码有利于减少数据重构过程的时间延迟和编码方案维护过程中的工作量。因此，精确修复一直是学术界研究的重点。

网络编码是常规路由(存储和转发)方法的推广。在常规路由中，网络中的每个中间节点简单地存储和转发所接收的信息。相反，网络编码允许中间节点通过对先前接收的输入数据进行编码来生成输出数据。目前，有很多基于网络编码技术来构造低修复带宽的编码方案。这些编码方案大都不实用。而且在实际选择编码方案时，除了考虑修复问题，还要考虑其它问题，例如怎样优化编码方案以使得编解码的效率更高。设计一个对所有线性纠删码都适用的最优修复方案比直接设计一个编码方案更具有实际意义。

因此，如何保证数据可靠存储，如何选取编码方案，以及如何设计高效的修复机制来保证数据的可靠存储是十分重要的。经对现有技术文献检索发现，已有的云存储系统比如HDFS，通过多副本技术来保证数据存储可靠性，但是因为数据冗余度太高而带来高存储成本。其他采用了纠删码技术的云存储系统比如Azure，采用了重构原始文件来修复故障节点，缺点是系统规模大时，故障节点的修复会导致网络拥塞。