[发明专利]数据处理方法及数据处理设备

说明书

技术领域

本发明涉及报文处理技术，尤其涉及一种数据处理方法及数据处理设备。 

背景技术

数据压缩是对报文内容进行算法处理，减小数据量，但不影响信息传递的过程。数据压缩是为了达到节约网络传送带宽、实现应用加速的目的。 

根据CDC(Content-Defined Chunking)可变块算法生成包含可变块、可变块的指纹以及可变块的摘要的重复数据库。生成重复数据库后，如果待压缩的数据中包含了与可变块的前半部分相同并且与可变块的后半部分不同的数据片段，则数据片段的指纹与可变块的指纹匹配，则数据片段的摘要与可变块的摘要不匹配。CDC算法认为重复数据库需要进行更新，并使用定界滑窗机制生成新的可变块。新的可变块粒度可能比较大，降低了后续的待压缩数据与更新后的重复数据库发生匹配的概率。以上可能导致压缩效率下降。 

发明内容

本发明实施例提供一种数据处理方法及数据处理设备，用于提高数据压缩效率。 

一方面，本发明实施例提供了一种数据处理方法，包括： 

根据指纹算法计算待压缩数据中的第一片段的第一指纹，所述第一片段的起始位置与所述待压缩数据的起始位置相同，所述第一片段的长度与第一滑窗的长度相同； 

在第一本地重复数据库中查找所述第一指纹，所述第一本地重复数据库用于存储重复数据、所述重复数据的指纹以及所述重复数据的摘要； 

如果所述第一本地重复数据库中存在所述第一指纹，则根据所述第一指 纹获取所述第一本地重复数据库中的第一可变块以及所述第一可变块的摘要，所述第一指纹与根据所述指纹算法计算得到的所述第一可变块中的第一初始块的指纹相同，所述第一初始块的起始位置与所述第一可边块的起始位置相同，所述第一初始块的长度与所述第一滑窗的长度相同，所述第一可变块的摘要为根据摘要算法对所述第一可变块的摘要进行计算得到的； 

根据所述摘要算法计算所述待压缩数据中的第二片段的摘要，所述第二片段的起始位置与所述待压缩数据的起始位置相同，所述第二片段的长度与所述第一可变块的长度相同； 

比较所述第二片段的摘要与所述第一可变块的摘要； 

如果所述第二片段的摘要与所述第一可变块的摘要不同，则获取所述第二片段中的第一子片段，所述第一子片段与所述第一可变块中的第一子可变块相同，所述第一子片段的起始位置与所述第二片段的起始位置相同，所述第一子可变块的起始位置与所述第一可变块的起始位置相同，所述第二片段中的第二比特与所述第一可变块中的第一比特不同，所述第二比特为所述第二片段中所述第一子片段的下一个比特，所述第一比特为所述第一可变块中所述第一子可变块的下一个比特； 

将所述第一子片段、所述第一子片段的指纹以及所述第一子片段的摘要添加到所述第一本地重复数据库，生成第二本地重复数据库，所述第一子片段的指纹与所述第一指纹相同，所述第一子片段的摘要为根据所述摘要算法对所述第一子片段的摘要进行计算得到的。 

另一方面，本发明实施例还提供了一种数据压缩设备，包括： 

第一指纹计算单元，用于根据指纹算法计算待压缩数据中的第一片段的第一指纹，所述第一片段的起始位置与所述待压缩数据的起始位置相同，所述第一片段的长度与第一滑窗的长度相同； 

查找单元，用于在第一本地重复数据库中查找所述第一指纹，所述第一本地重复数据库用于存储重复数据、所述重复数据的指纹以及所述重复数据的摘要； 

重复内容获取单元，用于如果所述第一本地重复数据库中存在所述第一指 纹，则根据所述第一指纹获取所述第一本地重复数据库中的第一可变块以及所述第一可变块的摘要，所述第一指纹与根据所述指纹算法计算得到的所述第一可变块中的第一初始块的指纹相同，所述第一初始块的起始位置与所述第一可边块的起始位置相同，所述第一初始块的长度与所述第一滑窗的长度相同，所述第一可变块的摘要为根据摘要算法对所述第一可变块的摘要进行计算得到的； 

摘要计算单元，用于根据所述摘要算法计算所述待压缩数据中的第二片段的摘要，所述第二片段的起始位置与所述待压缩数据的起始位置相同，所述第二片段的长度与所述第一可变块的长度相同；