[发明专利]一种基于模拟退火的分布式纠删码存储系统数据修复方法

说明书

本发明公开了一种基于模拟退火的分布式纠删码存储系统数据修复方法，包括：构建一个分布式存储系统；监控节点判断存储节点发生故障；监控节点选择存储节点作为修复节点来修复数据和保存丢失的数据；修复节点获取网络传输速度；修复节点获取纠删码生成矩阵、失效节点编号、当前节点编号并通过搜索算法获取修复方案；修复节点根据修复方案构建数据读请求并发送到各个存储节点；各个完好的存储节点读取相应的元素数据并返回给修复节点；修复节点执行解码操作将丢失的数据重构出来；修复节点将元数据信息反馈给监控节点并将数据保存在本地。有效地降低CRS纠删码的数据修复的带宽占用，减少数据修复对系统带来的不良影响，加快数据修复速度。

技术领域

本发明属于分布式纠删码存储系统领域，具体涉及一种基于模拟退火的分布式纠删码存储系统数据修复方法。

背景技术

分布式存储系统凭借较好的可扩展性和较低的成本得到了广泛的关注，这种系统由廉价的存储服务器通过网络互联组成，并采取了一些数据冗余技术以保证数据的可靠性。分布式存储系统中传统的数据冗余技术是副本策略，但是副本策略带来了存储开销大的问题，例如对于三副本策略来说，它会带来三倍的存储开销。纠删码策略是一种比较新型的数据冗余技术，它将原始数据分割成k个块，并对这些数据块进行编码操作以得到m个校验块，最后将数据块和校验块放置在不同的节点上。当系统中某个节点发生故障时，它从剩余存活的数据块和校验块中读取k个即可解码出丢失的块。纠删码策略具有存储开销小的优点，在很多分布式存储系统中得到了广泛的应用。

对于基于异或运算的纠删码来说，它将数据块和校验块分割成w个更小的元素，校验块中的每个元素都是由数据块的元素之间通过异或运算得到。这种纠删码的生成矩阵是一个0-1矩阵，编解码运算通过该矩阵进行调度完成，常见的基于异或运算的纠删码如CRS码、Liberation码等。纠删码冗余技术在进行数据修复时需要读取和传输存活的数据块和校验块以进行解码操作，这会带来较大的网络开销。单节点故障在所有的系统故障中占据了99.75％以上的比例，所以现有研究主要针对分布式纠删码存储系统中单节点故障进行数据修复的优化，降低网络带宽占用，加快修复速度。

对纠删码数据修复的数据读取和传输进行优化的工作可以分为两类：一是星型数据修复方法，二是树形数据修复方法。对于星型数据修复方法来说，它主要是通过算法改进数据修复时的解码规则，使其可以使用更少的数据量进行解码操作。Xiang等人针对RDP码提出了一种数据修复优化算法RDOR，Xu等人针对X码提出了MDRR算法，其可以达到理论最少的数据读取总量。Khan等人提出了一种基于枚举策略的修复算法，在所有可行的修复方案中查找所需要数据量最小的方案。Zhu等人提出了多项式级的搜索修复算法，它利用了爬山算法进行矩阵搜索，大大加快了算法执行速度，使得算法可以在多项式时间内查找到修复所需数据总量较小的修复方案。然而，这些优化方法仍然存在各种问题，要么时间复杂度过高，要么无法将修复带宽占用降低到近似最小，而且缺乏集群网络异构特征的考虑。

对于树形数据修复方法来说，它主要是改进传统的纠删码数据修复的数据读取和传输过程，将其设计为树形的数据读取和传输过程，以此来加快数据修复过程。Mitra等人设计了PPR(Partial-Parallel-Repair，局部并行传输)技术，它将整个数据修复任务分解成多个子任务以组织出一棵完整的数据修复树。Zhang等人提出了一种新的修复树技术，通过分解计算的方式构建修复树，大大加快数据修复速度。Li等人提出了带宽感知的树形修复技术，其基本思想是基于节点之间的网络带宽构建修复树。Zeng等人和Zhang等人提出了拓扑感知的树形数据修复技术，其主要目的是尽可能多地在树形网络拓扑的底层节点之间进行数据传输而减少上层核心交换机的数据量。然而，这些优化方法无法有效地降低数据修复时的网络传输数据量。

发明内容

本发明的目的在于提供一种基于模拟退火的分布式纠删码存储系统数据修复方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：