[发明专利]基于数据相似的平衡聚类压缩方法

说明书

技术领域

本发明涉及数据压缩、分布式存储归档与数据挖掘领域，特别是涉及一种基于数据相似的平衡聚类压缩方法。

背景技术

随着信息总量的爆炸式增长，海量分布式存储系统已经成为当前各种互联网应用的核心设施，分布式存储系统的性能直接决定着整个信息系统性能。在分布式存储系统中，除了小部分热点数据之外，很大一部分数据根本很少被访问，但却占用了大量的存储空间和系统资源，因此压缩和归档此类数据可以在不降低用户体验的前提下，减少系统资源占用，节省成本。

通用的压缩方法只针对单个文件进行压缩，不能利用文件之间的数据冗余性，压缩比非常有限。另外，学术界提出各种方法虽然能够利用文件之间的数据冗余，但是计算量过大，执行效率不足，而且这些方法很少考虑压缩后数据的存储问题，没有针对海量分布式存储系统进行优化，容易造成数据之间的依赖性和系统负载不均。

发明内容

本发明的目的在于提供一种基于数据相似的平衡聚类压缩方法，根据文件数据相似性对文件集进行聚类，得到较为均匀的聚类结果，即每类几乎包含相同数据量，然后利用DELTA压缩或者BMCOM等压缩方法压逐类缩聚类结果。

本发明的目的是通过以下技术方案来实现的：一种基于数据相似的平衡聚类压缩方法，包括以下步骤：

(1)文件特征向量提取，从文件数据中提取特征向量用于计算文件相似度。

第一步，选择一个窗口长度w和k个整数域上的独立置换函数{h₁，h₂，…，h_k}，每个置换函数相互独立；

第二步，从前往后逐字节扫描输入文件f，利用高效的Rabin指纹函数，计算当前滑动窗口内数据的指纹，记该指纹为fp，利用上述k个独立置换函数作用于指纹fp，得到k个置换指纹h₁(fp)，h₂(fp)，…，h_k(fp)，记文件f的特征向量F(f)为{F₁(f)，F₂(f)，…，F_k(f)}，特征向量的第i维F_i(f)等于第i个置换函数所产生的置换指纹的最小值，即F_i(f)＝MIN(F_i(f)，h_i(fp))；

第三步，扫描完整个文件之后，可计算出文件的特征向量F(f)，文件数据相似度r(x，y)根据文件x和y的特征向量定义为|F(x)∩F(y)|/|F(x)∪F(y)|;]]>

(2)聚类样本选取，即从输入数据集D中选取部分数据作为样本数据集，即样本数据集为S；

第一步，计算关键数据集，关键数据集KD的定义是存在高相似副本的文件集合，即KD={x|x∈D^(∃y∈D·r(x,y)≥t)},]]>t是0到1之间的一个较大实数，关键数据集中的数据通常具有比较高的可压缩性，能对最终压缩比产生比较大的影响；