[发明专利]基于高斯消元进行校验恢复的方法、系统、设备及介质

说明书

本发明公开了一种基于高斯消元进行校验恢复的方法、系统、设备和存储介质，方法包括：响应于分布式存储出现异常，确定出现异常的数据块和校验块的数量以判断是否存在校验块需要恢复；响应于存在校验块需要恢复，将正常的数据块和校验块构建磁盘阵列，将正常的数据块和校验块对应的编码矩阵行构建第一基准矩阵，并通过高斯消元将第一基准矩阵转换成逆矩阵；从正常的数据块和校验块中随机选择预定数量的块对应的编码矩阵行，并将编码矩阵行与异常的数据块和校验块组成第二基准矩阵；以及将逆矩阵和第二基准矩阵进行相乘以得到第一矩阵，将第一矩阵与磁盘阵列相乘以得到输出矩阵，并根据输出矩阵得到异常的数据块和校验块的原始数据。

技术领域

本发明涉及分布式存储领域，更具体地，特别是指一种基于高斯消元进行校验恢复的方法、系统、计算机设备及可读介质。

背景技术

面对海量数据的存储要求，分布式存储以其成本低廉，可扩展性好等优势逐渐取代了统一存储的主导地位，在理论研究和实际应用方面得到了越来越多的关注。分布式存储系统多以廉价的磁盘作为存储节点，每个存储节点的可靠性往往不会很高，另一方面，一个分布式存储系统通常包含很多的节点，由于软硬件故障，人为失误等原因，系统常常发生节点失效的情况。为了提高分布式存储系统的数据可靠性，保证数据收集节点能以很高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复。同时，为了维持系统的可靠性，需要对失效的节点及时进行修复，因此，设计一个良好的节点修复机制十分重要。

纠删码(Erasure Code)属于编码理论中的一种前向纠错技术，纠删码的种类众多，在实际存储系统中较常见的有应用在分布式环境下的RS码 (Reed-Solomon Code)。RS码与两个参数k和r相关。给定两个正整数k 和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于范德蒙矩阵或柯西矩阵进行编码的方式就称为利用范德蒙矩阵或柯西矩阵编码的RS纠删码。纠删码的核心概念是构建一个可逆的编码矩阵用以产生校验数据，其逆矩阵可经过计算恢复原始数据。

常见的RS纠删码逆矩阵的计算采用的是高斯消元法，这是一种通用解法，适用于任何可逆矩阵的求逆运算。但缺点在于其没有针对矩阵编码的特性进行优化，因此虽然计算规律化，却会引入大量冗余运算。并且，高斯消元的使用只能恢复数据块。而在实际的分布式存储环境中，存储校验块的磁盘也有错误的可能，除了数据块以外还需要对校验块进行恢复。而在海量数据的存储应用需求下，对参与运算的磁盘数据的读取需要耗费大量的时间和暂存单元。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于高斯消元进行校验恢复的方法、系统、计算机设备及计算机可读存储介质，可以分别针对传统的高斯消元纠删恢复数据块和同时恢复数据块以及校验块进行不同操作。在传统高斯消元下，恢复数据块无需增加冗余操作，即可实现数据块的恢复，在同时需要恢复数据块以及校验块的情况下，通过增加一次矩阵的特殊调用，和乘法运算，即可输出得到最终的特定输出需求。

基于上述目的，本发明实施例的一方面提供了一种基于高斯消元进行校验恢复的方法，包括如下步骤：响应于分布式存储出现异常，确定出现异常的数据块和校验块的数量以判断是否存在校验块需要恢复；响应于存在校验块需要恢复，将正常的数据块和校验块构建磁盘阵列，将正常的数据块和校验块对应的编码矩阵行构建第一基准矩阵，并通过高斯消元将所述第一基准矩阵转换成逆矩阵；从正常的数据块和校验块中随机选择预定数量的块对应的编码矩阵行，并将所述编码矩阵行与异常的所述数据块和校验块组成第二基准矩阵；以及将所述逆矩阵和所述第二基准矩阵进行相乘以得到第一矩阵，将所述第一矩阵与所述磁盘阵列相乘以得到输出矩阵，并根据所述输出矩阵得到异常的数据块和校验块的原始数据。