[发明专利]一种数据去重过程中的并行分块方法与系统

说明书

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种数据去重过程中的并行分块方法与系统。

背景技术

近年来，随着互联网的普及和发展，数据信息存储量呈爆炸式增长。据IDC权威统计，预计到2020年，全球的信息总量将达到44ZB。传输和存储如此大量的数据给研究人员提出了挑战。IDC分析表明，75％的信息是冗余的重复数据。因此，数据去重(或者称重复数据删除，Data Deduplication)作为一种能够有效地消除冗余数据的技术，成为了近年来存储领域的研究热点。数据去重技术不仅能够节省存储空间，而且避免了冗余数据的重复传输而节省网络带宽。由于其有效性，数据去重技术已被EMC、IBM、HP、Microsoft、NEC等知名计算机公司应用于存储产品当中。

数据去重技术是一种已经广泛应用于数据备份和归档产品的智能高效的无损数据压缩技术。该技术首先对文件进行分块(平均块长为约8KB)，然后计算这些数据块的指纹(比如计算SHA-1哈希摘要)，通过匹配指纹值来确定数据块是否重复。

虽然数据去重技术已发展多年，但是仍然面临着诸多挑战，特别是在对吞吐率要求严格的高性能存储系统中。一般来说，数据去重技术可以分为四个阶段：数据分块、指纹计算、指纹索引和存储。其中前两个过程(数据分块和指纹计算)需要占用大量的CPU，因此吞吐率较低。相对来说，分块的吞吐率又比指纹计算的更低，是整个数据去重系统写入过程的性能瓶颈。现有的解决方案是流水化并行处理数据去重的四个阶段。这样可以并 行化处理数据分块和指纹计算，加速数据去重计算速度。但是这样数据分块操作仍然是数据去重流水线操作后的性能瓶颈，如何进一步内部并行数据去重的分块操作，成为了现在的研究热点。

虽然现代计算机系统的处理器都是多核心，并行处理能力强，但是数据分块是有前后切点的依赖关系的。尤其是现在主流的数据去重系统在分块过程中添加了最小和最大块长限制，这样使得数据分块的前后依赖关系更加明显。如何在并行分块的过程中遵循这些依赖关系，而且保证并行分块的效果与传统线性执行分块的效果一致，是并行分块算法的关键。

由此可见，研究数据去重技术中的无损的并行分块，对于提高数据去重系统吞吐率从而进一步改进存储系统性能具有重要意义。

发明内容

本发明的目的在于提供一种数据去重过程中的并行分块方法，这种方法适用于分块过程中有最大值和最小值限制的数据去重系统。该发明使得数据去重的分块操作能并行进行，从而获得数据去重系统吞吐率的提升。同时该发明获得与线性分块近似相同的数据分块效果，从而仅损失极少量的去重率。

为了实现上述目的，按照本发明的一个方面，提供了一种数据去重过程中的并行分块方法，包括以下步骤：

(1)将数据流中的文件分成多个定长的数据段，数据段的长度大于数据分块的最大块长；

(2)利用计算机多核处理器并行对每个数据段进行分块，每个数据段都通过分块获得多个数据块；

(3)将除最后一个数据段之外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理(即重新分块和拼接)，以获得与传统的线性分块相近的分块效果，从而减少数据去重率的损失。这里假定需要衔接的前后数据段是A_n和B_n，那么并行分块后数据段A_n的最后一个 切点为X，Y是数据段A_n和B_n的边界点，数据段B_n的前两个分块切点为Z和N。其中本发明提出的重新分块的区域为数据段B_n的开始的L_min个字节，数据块的最小和最大块长限制分别为L_min和L_max个字节。数据段边界衔接处理可分为五种情况：

(3-1)若在从B_n开始的L_min区域内找到满足分块要求的切点O，而且OZ大于等于最小块长L_min，则将Z作为下一个分块切点；

(3-2)若在从B_n开始的L_min区域内找到满足分块要求的切点O，而且OZ小于最小块长L_min，则将N作为下一个分块切点；

(3-3)若没有在B_n开始的L_min区域内找到分块的切点，而且XZ小于最大块长L_max，则将Z作为下一个分块切点；