[发明专利]一种重复数据处理技术

权利要求书

1.一种重复数据处理技术，其特征在于，包括两种方法分别为：静态的切分文件和动态的切分文件，所述静态的切分文件是将文件按照固定大小来切分，所述动态的切分文件包括以下步骤：

步骤1）按照一定的算法来查找数据块的边界位置；

步骤2）解决数据指纹，即将文件切割成多个小模块后，需要给每个小数据块计算出数据指纹；

步骤3）用数据指纹来判断两个数据块是否相同；在查找数据块，由于数据块数量众多，采用基于函数形式的HASH查找方法，可以有效缩短查找时间； 

步骤4）将相同数据块存储一份，并存储相同数据块的索引值，以便恢复时所用。

2.根据权利要求1所述的重复数据处理技术，其特征在于，所述动态的切分文件中的计算数据块指纹采用了弱校验值和SHA1算法来计算数据块指纹。

3.根据权利要求2所述的重复数据处理技术，其特征在于，所述弱校验值是计算每个数据块的循环冗余值，所述算法比较简单，当循环冗余值不同时，可以判断这两个数据块不同，当循环冗余值相同时，不能判断这两个数据块是否相同，我们需要用所述SHA1算法来计算这两个数据块的值，即当两个数据块完全相同时，经SHA1计算后所得到的160位值相同，反之不同。