[发明专利]一种数据去重过程中的并行分块方法与系统

权利要求书

1.一种数据去重过程中的并行分块方法，其特征在于，所述方法包括如下步骤：

(1)将数据流中的文件分成多个定长的数据段，所述数据段的长度大于数据分块的最大块长；

(2)利用计算机多核处理器并行对每个数据段进行分块，每个数据段都通过分块获得多个数据块；

(3)将除最后一个数据段之外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理，其中A_n和B_n是需要衔接的前后数据段，X为数据段A_n的最后一个切点，Y为数据段A_n和B_n的边界点，Z和N为数据段B_n的前两个分块切点，XZ表示切分出的数据块，其内容为从切点X到分块切点Z之间的数据内容，假设数据块的最小和最大块长限制分别为L_min和L_max个字节，边界衔接处理分为下述五种情况：

(3-1)若在从B_n开始的L_min区域内找到满足分块要求的切点O，而且OZ的长度大于等于最小块长L_min，则将Z作为下一个分块切点，OZ表示从切点O到分块切点Z之间的数据块；

(3-2)若在从B_n开始的L_min区域内找到满足分块要求的切点O，而且OZ的长度小于最小块长L_min，则将N作为下一个分块切点；

(3-3)若没有在B_n开始的L_min区域内找到满足分块要求的切点，而且XZ的长度小于最大块长L_max，则将Z作为下一个分块切点；

(3-4)若没有在B_n开始的L_min区域内找到满足分块要求的切点，而且XZ的长度大于最大块长L_max且小于L_min+L_max，则将离X点距离为L_max的点O作为分块切点，且认为O的下一个分块点为N；

(3-5)若没有在B_n开始的L_min区域内找到满足分块要求的切点，而且XZ的长度大于L_min+L_max，则将离X点距离为L_max的点O作为分块切点，且认为O的下一个分块点为Z。

2.如权利要求1所述的数据去重过程中的并行分块方法，其特征在于，所述步骤(3)中判断是否在B_n开始的L_min区域内找到满足分块要求的切点具体为：

使用一个滑动窗口对B_n开始的L_min区域进行滑动分块判断：分块算法计算滑动窗口内容的哈希值，如果该哈希值满足分块的预定义要求，则认为这是一个满足要求的分块切点；如果不满足，则认为这不是一个满足要求的分块切点。

3.如权利要求1或2所述的数据去重过程中的并行分块方法，其特征在于，所述数据段的长度为2MB，所述数据块的分块平均块长为8KB，最小块长和最大块长限制分别为2KB和64KB。

4.一种数据去重过程中的并行分块系统，其特征在于，所述系统包括数据分段模块、数据并行分块模块以及边界衔接处理模块，其中：

所述数据分段模块，用于将数据流中的文件分成多个定长的数据段，所述数据段的长度大于数据分块的最大块长；

所述数据并行分块模块，用于利用计算机多核处理器并行对每个数据段进行分块，每个数据段都通过分块获得多个数据块；

所述边界衔接处理模块，用于将除最后一个数据段之外的每个数据段的最后一个数据块与后一个数据段的第一个数据块进行边界衔接处理，其中A_n和B_n是需要衔接的前后数据段，X为数据段A_n的最后一个切点，Y为数据段A_n和B_n的边界点，Z和N为数据段B_n的前两个分块切点，XZ表示切分出的数据块，其内容为从切点X到分块切点Z之间的数据内容，假设数据块的最小和最大块长限制分别为L_min和L_max个字节，边界衔接处理分为下述五种情况：

若在从B_n开始的L_min区域内找到满足分块要求的切点O，而且OZ的长度大于等于最小块长L_min，则将Z作为下一个分块切点，OZ表示从切点O到分块切点Z之间的数据块；

若在从B_n开始的L_min区域内找到满足分块要求的切点O，而且OZ的长度小于最小块长L_min，则将N作为下一个分块切点；

若没有在B_n开始的L_min区域内找到满足分块要求的切点，而且XZ的长度小于最大块长L_max，则将Z作为下一个分块切点；

若没有在B_n开始的L_min区域内找到满足分块要求的切点，而且XZ的长度大于最大块长L_max且小于L_min+L_max，则将离X点距离为L_max的点O作为分块切点，且认为O的下一个分块点为N；

若没有在B_n开始的L_min区域内找到满足分块要求的切点，而且XZ的长度大于L_min+L_max，则将离X点距离为L_max的点O作为分块切点，且认为O的下一个分块点为Z。