[发明专利]一种数据去重过程中的并行分块方法与系统

摘要

本发明公开了一种数据去重过程中的并行分块方法，其特征在于，包括(1)将数据流中的文件分成多个定长的数据段，所述数据段的长度大于数据分块的最大块长；(2)利用计算机多核处理器并行对每个数据段进行分块，每个数据段都通过分块获得多个数据块；(3)将最后一个数据段除外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理。本发明提出的并行分块方法，采用一种新颖的边界衔接方法解决了传统分块方法的依赖性问题，以极小的去重率损失为代价，使得数据分块能并行进行，突破了数据去重计算的性能瓶颈。

主权项

一种数据去重过程中的并行分块方法，其特征在于，所述方法包括如下步骤：(1)将数据流中的文件分成多个定长的数据段，所述数据段的长度大于数据分块的最大块长；(2)利用计算机多核处理器并行对每个数据段进行分块，每个数据段都通过分块获得多个数据块；(3)将除最后一个数据段之外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理，其中An和Bn是需要衔接的前后数据段，X为数据段An的最后一个切点，Y为数据段An和Bn的边界点，Z和N为数据段Bn的前两个分块切点，XZ表示切分出的数据块，其内容为从切点X到分块切点Z之间的数据内容，假设数据块的最小和最大块长限制分别为Lmin和Lmax个字节，边界衔接处理分为下述五种情况：(3‑1)若在从Bn开始的Lmin区域内找到满足分块要求的切点O，而且OZ的长度大于等于最小块长Lmin，则将Z作为下一个分块切点，OZ表示从切点O到分块切点Z之间的数据块；(3‑2)若在从Bn开始的Lmin区域内找到满足分块要求的切点O，而且OZ的长度小于最小块长Lmin，则将N作为下一个分块切点；(3‑3)若没有在Bn开始的Lmin区域内找到满足分块要求的切点，而且XZ的长度小于最大块长Lmax，则将Z作为下一个分块切点；(3‑4)若没有在Bn开始的Lmin区域内找到满足分块要求的切点，而且XZ的长度大于最大块长Lmax且小于Lmin+Lmax，则将离X点距离为Lmax的点O作为分块切点，且认为O的下一个分块点为N；(3‑5)若没有在Bn开始的Lmin区域内找到满足分块要求的切点，而且XZ的长度大于Lmin+Lmax，则将离X点距离为Lmax的点O作为分块切点，且认为O的下一个分块点为Z。