[发明专利]基于低修复带宽的云存储系统及方法

权利要求书

1.一种基于低修复带宽的云存储系统，其特征在于，包括数据插入和读取模块、编码预处理模块、数据文件编码模块、数据文件解码模块、数据文件管理模块、数据存储模块以及数据修复模块；其中：

所述数据插入和读取模块工作于客户端，用于向用户提供访问接口，以使用户能够向主服务器发送插入、读取以及删除数据命令；

所述数据插入包括：通过异或运算将预处理后的数据进行高速编码运算，然后将编码后的数据分发到数据存储模块的各个存储节点上进行存储；

所述数据读取包括：对从数据存储模块的各个存储节点读取出的数据进行解码，得到编码前的数据，对编码前的数据去掉用于对齐的冗余数据，得到重构后的原始数据，并将重构后的原始数据发送给客户端；

所述编码预处理模块工作于主服务器上，用于对原始数据进行数据预处理；

所述数据文件编码模块工作于主服务器上，用于对预处理后的数据进行编码，产生数据插入；

所述数据文件解码模块工作于主服务器上，用于对插入的数据进行数据解码重构，产生数据读取；

所述数据文件管理模块工作于主服务器上，用于存储原始数据的元数据；

所述数据存储模块工作于存储服务器，包括多个存储节点，其中一部分存储节点用于存储未经编码的原始数据，另一部分存储节点用于存储编码后的冗余数据，所述数据存储模块采用纠删码技术保证数据存储可靠性；

所述数据修复模块工作于候补存储服务器，用于数据存储模块上故障节点的数据修复，所述数据修复模块包括：

-修复策略制定模块，根据数据存储模块的故障节点及存活节点集合决定故障节点的修复策略，使修复带宽达到最小；

-修复运算模块，根据修复策略从存活节点集合下载数据，并计算复原故障节点上的数据存储于数据存储模块上的新加入存储节点；

所述修复策略采用基于互信息量的修复机制。

2.根据权利要求1所述的基于低修复带宽的云存储系统，其特征在于，所述数据预处理包括：对希望插入的原始数据进行均等分片，当出现不能均等分片时，插入冗余数据进行对齐。

3.一种基于低修复带宽的云存储方法，其特征在于，采用权利要求1所述的一种基于低修复带宽的云存储系统进行云存储，包括如下任一个或任多个步骤：

-系统初始化阶段：在主服务器上设置编码参数，设数据存储模块中共有n个数据存储节点A＝{A₁，A₂，…，A_n}，每个数据存储节点独立存储本地数据，其中前k个数据存储节点A＝{A₁，A₂，…，A_k}用于存储未经编码的原始数据，后(n-k)个数据存储节点用于存储编码后的冗余数据；

-用户插入数据阶段：用户通过客户端的数据插入和读取模块向主服务器发送插入数据命令，并通过主服务器上的数据文件编码模块将编码后的数据发送给存储服务器上的数据存储模块；

-数据文件编码阶段：主服务器上的编码预处理模块，将希望插入的原始数据进行均等分片，当出现不能均等分片时，插入冗余数据进行对齐，将分片后的数据存储在前k个数据存储节点A＝{A₁，A₂，…，A_k}，然后通过线性编码生成(n-k)个校验数据块，发送给剩余的(n-k)个数据存储节点；

-用户读取数据阶段：用户通过客户端的数据插入和读取模块向主服务器发送读取数据命令，并通过主服务器上的数据文件解码模块将解码后的原始数据发送给客户端；

-数据文件解码阶段：首先从数据存储模块的各个存储节点读取数据，解码出编码前的数据，然后对编码前的数据去掉用于对齐的冗余数据，得到重构后的原始数据，最后将重构后的原始数据发送给客户端；

-故障节点的修复阶段：在数据存储模块的某一存储节点发生故障时，主服务器通过数据修复模块主动向数据存储模块的其他存活节点读取数据后进行修复，并将修复后的数据存储于数据存储模块的新加入存储节点。

4.根据权利要求3所述的基于低修复带宽的云存储方法，其特征在于，所述故障节点的修复阶段采用基于互信息量的修复机制进行故障节点的修复。