[发明专利]基于随机矩阵的独立磁盘冗余阵列容灾存储方法

说明书

一种基于随机矩阵的独立磁盘冗余阵列容灾存储方法，包括根据待存储文件的大小构建编码参数；将所述待存储文件等分为k个数据块，不足的地方补零；获取存储系统中的一段存储区域；将所述存储区域划分为n个存储块；选取所述存储区域的前k个存储块作为原始数据存储块，其余的n‑k个存储块作为冗余数据存储块；将所述k个数据块逐列填充到所述前k个原始数据存储块中；根据所述编码参数在GF(2)上构造规模为n×k的随机编码矩阵G_n×k；根据所述随机编码矩阵G_n×k及所述k个数据块生成所述n‑k个存储块的冗余数据块；将所述n‑k个冗余数据块逐列填入所述n‑k个冗余数据存储块中。本发明提高了存储系统的容灾能力和扩展性。

技术领域

本发明涉及数据存储领域，特别涉及一种基于随机矩阵的独立磁盘冗余阵列容灾存储方法。

背景技术

随着信息技术的不断发展和网络的普及，数据开始呈现爆炸式的增长，2010年全球数据量已经达到ZB量级。越来越多的数据与人们的生活息息相关，而这些数据的存储和保护受到极大的挑战，已经成为当前社会探讨的热点问题之一，并亟待得到妥善的解决。

当今，主要的存储系统有以下三类：一类是基于复制的存储系统，典型的如Google文件系统，这种存储系统采用三备份的方式进行数据的存储容灾，其优点是操作简单，缺点是存储区域利用率较低，造成了极大的存储区域浪费。另一类是基于异或的阵列编码存储系统，如RAID-6，常用的编码方法有EVENODD码,Star码，RDP码，X-Code等等，该类存储系统的优点是使用异或操作，具有较高的编译码效率，另外存储区域的利用率也较复制方式有很大的提高，其缺点是编码参数受到素数的限制，无法任意扩展，难以应对不同容灾需求下的编码存储。还有一类是基于Reed-Solomon码的编码存储系统，如OceanStore。该类存储系统的优点是存储区域的利用率较高，编码参数在有限域规模内具有一定程度的自由性，缺点是编译码运算均在有限域上，而当前公认的，有限域上的计算复杂度非常高，特别是在规模较大的情况下，这严重影响了该存储系统的编码和重构速率，不能很好地推广到实际应用中。

综上所述，当前主要的三类存储系统都各有优劣，不能很好地满足当前大规模数据的存储需求。因此，构建一种既有较高编译码速率，且存储规模完全不受限制，同时，还能实现不同容错需求下的编码存储的高性能存储系统，是大数据时代人们对数据存储的一种迫切需求。

发明内容

为解决上述技术问题，本发明提供了一种容灾能力强和可扩展性好、可靠性高、存储效率和空间利用率高的基于随机矩阵的独立磁盘冗余阵列容灾存储方法。

本发明提供了一种基于随机矩阵的独立磁盘冗余阵列容灾存储方法，包括：根据待存储文件的大小构建编码参数；将所述待存储文件等分为k个数据块，不足的地方补零；获取存储系统中的一段存储区域；将所述存储区域划分为n个存储块；选取所述存储区域的前k个存储块作为原始数据存储块，其余的n-k个存储块作为冗余数据存储块；将所述k个数据块逐列填充到所述前k个原始数据存储块中；根据所述编码参数在GF(2)上构造规模为n×k的随机编码矩阵G_n×k；根据所述随机编码矩阵G_n×k及所述k个数据块生成所述n-k个存储块的冗余数据块；将所述n-k个冗余数据块逐列填入所述n-k个存储块中。

优选地，所述存储区域跨越多个不同的物理存储节点。

优选地，根据所述随机编码矩阵及所述k个数据块生成所述n-k个存储块的冗余数据块包括：首先，将所述随机编码矩阵G_n×k的最后n-k个非单位行中，每行中1所对应的数据块进行异或求和，从而得到该行对应的冗余块；然后，将所述对应的冗余块填充至与该行一致的冗余数据块中。