[发明专利]一种基于纠删码的文件追加方法

说明书

技术领域

本发明涉及分布存储系统的数据容错技术，尤其是基于纠删码的文件追加方法。

背景技术

数据容错是海量数据分布存储的关键技术之一，数据容错对于提高系统的可用性和可靠性至关重要。目前，数据容错技术主要包括基于复制的容错技术和基于纠删码的容错技术。

基于复制的容错技术简单直观，易于实现和部署，需要为每个数据文件创建若干同样大小的副本，存储空间开销较大。基于纠删码的容错技术通过将数据文件分割为多个数据块，通过利用纠删码算法对原始的数据块进行编码得到冗余的数据块，把多个数据块的信息融合到较少的冗余信息中，有效节省存储空间。与基于复制的容错技术相比，基于纠删码的容错技术具有冗余度低、存储空间利用率高等优点，已经逐步成为大数据时代数据容错的主流技术。

在基于纠删码的容错技术中，对数据的读写操作需要进行编解码，产生一定的计算开销。基于纠删码的容错技术的基本思想是：(1)首先，将数据文件DO分割为K个原始数据块，并按照每组k(k<K)个原始数据块进行分组，若最后一组不足k个原始数据块，则用全零数据块补齐；(2)然后，对每组中的k个原始数据块进行编码计算得到m个冗余数据块；(3)对于每组的k个原始数据块及其m个冗余数据块，只需这k+m个数据块中的任意k个数据块，就可通过解码计算恢复得到原始的k个数据块。

对于每组数据块而言，每个冗余数据块C_j(j＝1,2,…,m)都是k个原始数据块D_i(i＝1,2,…,k)的线性组合，编码计算可表示为公式(1)，其中，G_ji(j＝1,2,…,m，i＝1,2,…,k)是数据块编码系数。也就是说，对于冗余数据块C_j(j＝1,2,…,m)而言，首先，编码系数G_ji(i＝1,2,…,k)与数据块D_i(i＝1,2,…,k)进行逐位相乘，得到k个新数据块T_ji＝G_ji×D_i(i＝1,2,…,k)；然后，k个新数据块T_ji(i＝1,2,…,k)进行逐位相加，得到冗余数据块

G_j1×D₁+…+G_ji×D_i+…+G_jk×D_k＝C_j                    (1)

每个原始数据块D_i(i＝1,2,…,k)都是其它任意k个可用数据块E_j(j＝1,2,…,k)(原始数据块或者冗余数据块)的线性组合，解码计算可表示为公式(2)，其中，H_ij(i＝1,2,…,k，j＝1,2,…,k)是数据块解码系数。也就是说，对于原始数据块D_i(i＝1,2,…,k)而言，首先，解码系数H_ij(j＝1,2,…,k)与可用数据块E_j(j＝1,2,…,k)进行逐位相乘，得到k个新数据块S_ij＝H_ij×E_j(j＝1,2,…,k)；然后，k个新数据块S_ij(j＝1,2,…,k)进行逐位相加，得到原始数据块

Hi_1×E₁+…+H_ij×E_j+…+H_ik×E_k＝D_i                            (2)

随着海量数据规模的不断增大，文件追加逐渐成为数据更新的主要方法之一。所谓文件追加是指不覆盖数据文件中原来的数据块，而是在数据文件末端追加新的数据块。在基于纠删码的容错技术中，现有的文件追加方法都是将追加后的文件作为新文件，将追加之前的老文件的冗余数据块全部删除，对整个新文件进行重新编码。文件追加的编码计算开销和网络传输开销取决于文件的数据块数目。随着数据文件的不断增大，文件的数据块数目呈现出逐渐增长的趋势，从而使得文件追加的编码计算开销和网络传输开销越来越大，对文件追加效率产生影响。

因此，如何针对文件追加的编码计算开销问题和网络传输开销问题，设计基于纠删码的文件追加方法，有效降低文件追加的编码计算开销和网络传输开销，有效保证文件追加效率，已经成为分布存储领域的热点研究问题。

发明内容