[发明专利]一种重复数据处理技术

说明书

技术领域

本发明涉及报警系统，具体涉及一种重复数据处理技术。 

背景技术

当今企业对信息的存储需求正在飞速地增长,信息的采集与处理已成为决定企业生存与发展的关键技术因素之一。与此同时,信息系统中的数据的可靠性和安全性也受到了越来越多的重视,其中数据容灾系统就是保障数据安全的一种有效技术手段。特别是911恐怖袭击以及东南亚海啸,以及不久前发生在中国的南方的雪灾和汶川地震,这些灾难性事件使得企业有一条共同的主线,那就是建立异地容灾系统以保证业务的连续性。容灾系统是根据当前的技术发展趋势及保证数据安全和业务连续性而提出的。因为急速增长的数据量给灾备系统带来的最直观的问题是存储空间不足,同时也给系统的处理能力、数据传输带宽带来了巨大压力,所以为了保障容灾系统高效稳定地运行,需要建立一个存储容量优化机制来减少数据对存储容量的需求。在深入研究容灾备份中存储容量优化技术的基础上,对重复数据删除技术进行了一定的技术改进,实现了高质量的存储。 

发明内容

本发明的目的在于克服现有技术存在的问题，提供一种重复数据处理技术。 

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现： 

一种重复数据处理技术，包括两种方法分别为：静态的切分文件和动态的切分文件，所述静态的切分文件是将文件按照固定大小来切分，所述动态的切分文件包括以下步骤：

步骤1）按照一定的算法来查找数据块的边界位置；

步骤2）解决数据指纹，即将文件切割成多个小模块后，需要给每个小数据块计算出数据指纹；

步骤3）用数据指纹来判断两个数据块是否相同；在查找数据块，由于数据块数量众多，采用基于函数形式的HASH查找方法，可以有效缩短查找时间； 

步骤4）将相同数据块存储一份，并存储相同数据块的索引值，以便恢复时所用。

进一步的，所述动态的切分文件中的计算数据块指纹采用了弱校验值和SHA1算法来计算数据块指纹。 

进一步的，所述弱校验值是计算每个数据块的循环冗余值，所述算法比较简单，当循环冗余值不同时，可以判断这两个数据块不同，当循环冗余值相同时，不能判断这两个数据块是否相同，我们需要用所述SHA1算法来计算这两个数据块的值，即当两个数据块完全相同时，经SHA1计算后所得到的160位值相同，反之不同。 

本发明的有益效果: 

本发明技术方案，可以减少数据对存储容量的需求，同时在深入研究容灾备份中存储容量优化技术的基础上，对重复数据删除技术进行了一定的技术改进，实现了高质量的存储。

附图说明

图1是本发明的数据优化前和数据优化后的对比图； 

图2为本发明的具体实现方式示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。 

参照图2所示，一种重复数据处理技术，包括两种方法分别为：静态的切分文件和动态的切分文件，所述静态的切分文件是将文件按照固定大小来切分，所述动态的切分文件包括以下步骤： 

步骤1）按照一定的算法来查找数据块的边界位置；

步骤2）解决数据指纹，即将文件切割成多个小模块后，需要给每个小数据块计算出数据指纹；

步骤3）用数据指纹来判断两个数据块是否相同；在查找数据块，由于数据块数量众多，采用基于函数形式的HASH查找方法，可以有效缩短查找时间； 

步骤4）将相同数据块存储一份，并存储相同数据块的索引值，以便恢复时所用。

进一步的，所述动态的切分文件中的计算数据块指纹采用了弱校验值和SHA1算法来计算数据块指纹。 

进一步的，所述弱校验值是计算每个数据块的循环冗余值，所述算法比较简单，当循环冗余值不同时，可以判断这两个数据块不同，当循环冗余值相同时，不能判断这两个数据块是否相同，我们需要用所述SHA1算法来计算这两个数据块的值，即当两个数据块完全相同时，经SHA1计算后所得到的160位值相同，反之不同。 

本发明的原理： 

将一个文件切割成多个小数据段，利用一定的算法来计算这些小数据块的数据指纹，若数据指纹相同则说明这两个数据块内容相同，否则两个小数据块的内容就不同，在存储的时候，我们只需存储相同数据块的一份，存储的块称为元数据块，为了恢复成原始数据，我们还需要存储相同数据块在原数据中的索引值。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。