[发明专利]纠删码存储系统数据快速恢复方法、装置及存储介质

说明书

本发明属于计算机存储领域，公开了一种纠删码存储系统数据快速恢复方法、装置及存储介质，当管理节点检测到若干数据节点失效时，管理节点根据校验节点和数据节点的码元编号得到水平校验集和反对角校验集，根据失效数据节点的码元编号，通过水平校验集和反对角校验集得到能够恢复失效数据节点的码元数据的校验集合，根据校验集合确定每个正常节点的待读取码元编号集合，根据每个正常节点的待读取码元编号集合从对应节点中读取码元数据，根据读取的码元数据和校验集合通过异或运算得到失效数据节点的失效码元数据。与现有恢复算法相比，能够减少约25％的码元读取量，极大地减少了从硬盘读取与从网络上传输的数据量，提升了修复效率。

技术领域

本发明属于计算机存储领域，涉及一种纠删码存储系统数据快速恢复方法、装置及存储介质。

背景技术

构建分布式存储系统最基本的一个需求是保证信息的可靠性与可用性，在系统出现故障时，为了实现高可靠与高可用性，早期的分布式存储系统主要采用副本技术，例如GFS、Dynamo等系统，由于副本技术需要较高的额外存储空间，近年来，分布式存储系统逐渐转向使用纠删码技术，例如微软的WAS(Windows Azure Storage)使用了LRC码，著名的开源系统Ceph支持RS码、再生码以及各种异或类纠删码。

目前的分布式存储系统大部分都建立在廉价商用服务器之上，软件更新、系统重启、网络故障、硬件失效等事件频繁发生，导致数据会暂时性或永久性不可用。虽然纠删码能容忍多个节点同时失效，但是单节点失效所占的比例高达99.75％，所以针对单节点失效的数据恢复进行优化有非常重要的意义。

Liberation Codes是一种低密度的RAID-6码，编解码时只进行异或运算，能容忍任意2个节点失效，在所有的水平RAID-6码中，Liberation Codes有接近最优的编解码性能以及最优的更新性能，是目前分布式存储系统的一个较好的纠删码选择方案。目前部署了Liberation Codes(k,p)的分布式存储系统中，其中k为数据块数目，一个数据块包含p个码元，在这里k＝p，p为大于2的素数，在任意一个节点失效时，默认只使用水平校验集进行恢复，需要从存活节点读取的码元总数为p²，为了恢复p个失效码元，需要从存活节点读取以及从网络传输p倍的数据量，占用较多的I/O与网络带宽资源，严重影响了系统的正常访问性能。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种纠删码存储系统数据快速恢复方法、装置及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

一种纠删码存储系统数据快速恢复方法，所述纠删码存储系统中的节点包括管理节点以及若干的校验节点和数据节点，若干的校验节点和数据节点的码元编号均存储在管理节点内部；

所述方法包括以下步骤：

S1：当管理节点检测到若干数据节点失效时，管理节点根据校验节点和数据节点的码元编号得到水平校验集和反对角校验集；

S2：根据失效数据节点的码元编号，通过水平校验集和反对角校验集得到能够恢复失效数据节点的码元数据的校验集合；

S3：根据校验集合确定每个正常节点的待读取码元编号集合，根据每个正常节点的待读取码元编号集合从对应节点中读取码元数据；

S4：根据读取的码元数据和校验集合通过异或运算得到失效数据节点的失效码元数据；

S5：将失效数据节点的码元数据合并得到失效数据节点数据，将失效数据节点数据存储在正常的数据节点内，并采用该数据节点的码元编号更新失效数据节点在管理节点内部对应的码元编号。

本发明进一步的改进在于：

所述纠删码存储系统为通过以下步骤得到的纠删码存储系统：