[发明专利]一种数据处理方法、装置及电子设备和存储介质

说明书

本申请公开了一种数据处理方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取原始数据块；利用目标范德蒙矩阵对所述原始数据块进行右移位运算，以便对所述原始数据块进行编码得到RS纠删码；其中，在所述目标范德蒙矩阵中第i行第j列的元素为2^{(i‑1)(j‑1)}；存储所述编码数据块；其中，所述编码数据块包括所述原始数据块和校验数据块。在本申请中，目标范德蒙矩阵中的每个元素均为2的指数，因此，在编码过程时只需要基于目标范德蒙矩阵对原始存储块进行移位操作即可，硬件实现简单，省略标准范德蒙矩阵编码涉及的所有乘法器操作。由此可见，本申请提供的数据处理方法，降低了利用范德蒙矩阵编解码的计算复杂度。

技术领域

本申请涉及存储技术领域，更具体地说，涉及一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

面对海量数据的存储要求，分布式存储以其成本低廉、可扩展性好等优势逐渐取代了统一存储的主导地位。一方面，分布式存储系统多以廉价的磁盘作为存储节点，每个存储节点的可靠性往往不会很高，另一方面，一个分布式存储系统通常包含很多的节点，由于软硬件故障、人为失误等原因，系统常常发生节点失效的情况。因此，为了提高分布式存储系统的数据可靠性，保证数据收集节点能以很高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复，同时需要对失效的节点及时进行修复。

纠删码(Erasure Code)属于编码理论中的一种向前纠错技术，在实际存储系统中较常见的有应用在分布式环境下的RS码(Reed-Solomon Code)。RS码与两个参数k和r相关，给定两个正整数k和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于范德蒙矩阵进行编码获得方式就称为利用范德蒙矩阵编码的RS纠删码，具体编码过程如下所示：

上部分的k×k矩阵对应k个原始数据块，下部分的r×k矩阵对应范德蒙矩阵，通过与原始数据D₁-D_k相乘，得到新添加的P₁-P_r的r个校验数据。当其中任意最多r个数据在传输中出错或丢失，需要纠错时，即用剩余数据对应矩阵的逆矩阵与数据相乘，即会得到原始数据块D₁-D_k。以D1到Dr数据丢失进行解码为例，过程如下所示：

针对不同的待存储原始数据块数量，需要不同的校验数据块数量，因此需要构造不同的范德蒙矩阵。而不同的编码情况下，丢失存储数据块的组合是随机的，即在解码时会有随机组合的矩阵待求逆，给基于范德蒙矩阵的RS纠删解码与存储数据恢复增加了计算复杂度。

因此，如何降低利用范德蒙矩阵编解码的计算复杂度是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质，降低了利用范德蒙矩阵编解码的计算复杂度。

为实现上述目的，本申请提供了一种数据处理方法，包括：

获取原始数据块；

利用目标范德蒙矩阵对所述原始数据块进行右移位运算，以便对所述原始数据块进行编码得到RS纠删码；其中，在所述目标范德蒙矩阵中第i行第j列的元素为2^(i-1)(j-1)；

存储所述编码数据块；其中，所述编码数据块包括所述原始数据块和校验数据块。

其中，还包括：

当目标原始数据块丢失时，根据未丢失原始数据块和所述校验数据块生成解码矩阵；