[发明专利]基于再生码的分布式存储系统与处理方法

说明书

技术领域

本申请涉及数据存储系统与处理方法，具体涉及一种基于再生码的分布式存储系统与处理方法。

背景技术

分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

在传统分布式存储系统中为提高系统可靠性，因此采用再生码(Regenerating Codes)的数据恢复。再生码是一种基于纠错码理论的分支。透过网络在数据传输过程中发生错误后，数据接收端能透过纠错码自行发现错误或纠正。再生码的修复过程中，新节点需要在剩下的存储节点中连接d个存储节点并分别从这d个存储节点中下载P大小的数据，所以再生码的修复带宽为d*P。同时给出了再生码功能修复的模型并提出了再生码的两类最佳码:最小带宽再生码(MSR, Minimum-Storage Regenerating)和最小修复带宽再生码(MBR, Minimum-Bandwidth Regenerating)。

但传统的分布式存储系统无法针对存储数据的特性而对数据的可靠性进行调整。由于传统的分布式存储系统中的存储节点数量是固定的。所以遇到频繁被存取的数据的情况时，该数据可能发生延迟传输的问题。

发明内容

本申请所要解决的技术问题在于提供一种基于再生码的分布式存储系统，其特征在于编码数据传输至各节点后，可扩展至指定的节点。

为了解决上述问题，本申请揭示了一种基于再生码的分布式存储系统包括数据源端与多个存储节点。数据源端具有控制模块与编码器，该控制模块对接收的输入数据组切分成多个数据分块，该数据分块通过该编码器时，该编码器根据编码向量输出子数据条带，且该些编码向量彼此为非线性相关。存储节点网络连接于该数据源端，该数据源端根据该些编码向量派送不同的该子数据条带至对应的该存储节点。数据源端接收节点扩展命令用于扩展所指定的该存储节点，该数据源端任意选取至少两个该存储节点，该数据源端根据所选取的该些子数据条带与所属的该些编码向量进行线性组合，并输出扩展节点。

为了解决上述问题，本申请更揭示一种基于再生码的分布式存储系统包括以下步骤：数据源端将输入数据组切分为多个数据分块； 数据源端根据编码向量将数据分块编码转换为子数据条带； 数据源端根据子数据条带与相应的编码向量发送至存储节点，并将子数据条带记录于存储节点； 数据源端接收节点扩展命令，并指定任一存储节点； 数据源端另选取至少两个以上的存储节点，数据源端根据所选取的存取节点、编码向量与子数据条带生成扩展节点。

与现有技术相比，本申请可以获得包括以下技术效果：

1）本申请相比传统的由编码控制器统一选择固定的节点进行拓展的办法，具有消耗带宽少、编码效率高、计算成本低及适应高动态变化的网络状况等优点。

2）本申请可以应用于块存储、基于对象存储的分布式存储系统的编解码和分发模块。对应的存储系统更适合一次性写入、读频率不高，但可靠性要求较高场景，例如归档系统。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1A为本申请的硬体架构示意图。

图1B为本申请的数据传输架构示意图。

图2为本申请的运作步骤示意图。

图3A为本申请的数据分块与编码的过程示意图。

图3B为本申请的存储节点的数据恢复示意图。

图4为本申请的扩展存储节点的示意图。

具体实施方式

以下请配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。