[发明专利]一种减小存储开销和提高修复效率的节点修复方法及系统

说明书

本发明适用于分布式存储技术改进领域，提供了一种减小存储开销和提高修复效率的节点修复方法，所述节点修复方法包括以下步骤：在piggyback编码框架上对（n，k）码将系统节点分组并定义系统向量和编码矩阵；S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；S3、根据编码方式通过zigzag解码对受损节点进行修复在分布式存储系统中。根据其特殊的编码方式，使设计的码既满足MDS性质，存储开销又比较小。在实际操作过程中，通过zigzag解码，能够有效地降低解码的复杂度低，同时又提高了节点修复效率。

技术领域

本发明属于分布式存储技术改进领域，尤其涉及一种减小存储开销和提高修复效率的节点修复方法及系统。

背景技术

在大型的分布式存储系统中，我们能存储和分析大规模的数据，然而在日常操作过程中，系统中的节点存在各种故障，例如：因磁盘损坏或者断线导致的数据丢失。因此，确保系统中节点的可靠性和可用性就显的尤为重要。

1.传统的分布式存储系统中，存储数据常常采用重复策略。即通过复制多个数据副本并存储在系统中的节点上。当有数据损坏需要进行数据恢复时，只需要找到对应的节点中所存储的数据，即可恢复。

2.近年来，相关学者提出了一种基于纠删码的冗余策略，通过增加冗余来减小存储开销，同时保证节点在修复时数据的可靠性。其编码方式是：将原始的数据等分成k个原始数据包，然后将这k个原始数据包映射成n(n≥k)个编码数据包，任取k个编码数据包都可以恢复出k个原始数据包。其中最典型的Reed-solomon codes(RS码)已经广泛的应用在现代数字通信、分布式存储系统中。

重复制的存储方式：虽然这样可以保证了数据的高度可靠性。但是产生大量的冗余数据，加重了服务器的负担，并且节点的利用率不高，容易造成资源的浪费。此外，随着数据的爆炸性增长，存储开销也会呈指数型增加。

传统的(n，k)码的一般具有编码或者解码的复杂度高，存储开销大等缺点，而且在节点修复的过程中，通常需要读取和下载所选取的修复节点中的全部数据。

例如传统的(8，4)码中，假设每个节点中存储两个编码数据包，这8个节点中任意一个节点损坏，都需要在剩余节点中任取4个节点才能修复损坏的节点。在修复过程中，需要读取和下载8个编码数据包。

在实际操作过程中，这样的译码方式不仅加重了网络带宽的负担，容易损坏磁盘，而且在修复过程中还过多的占用了系统的I/O口资源。导致扩展性能不佳。

发明内容

本发明的目的在于提供一种减小存储开销和提高修复效率的节点修复方法及系统，旨在解决上述的技术问题。

本发明是这样实现的，一种减小存储开销和提高修复效率的节点修复方法，所述节点修复方法包括以下步骤：

S1、在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a₁ a₂…a_k}^T，b＝{b₁ b₂…b_k}^T，c＝{c₁ c₂…c_k}^T，d＝{d₁ d₂…d_k}^T；当r-1为奇数时，编码矩阵P为：

当r-1为偶数时，编码矩阵P为：

当r-1为奇数或偶数时，编码矩阵Q为：

S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；