[发明专利]基于数据相似的平衡聚类压缩方法

权利要求书

1.一种基于数据相似的平衡聚类压缩方法，其特征在于，包括以下步骤：

(1)文件特征向量提取，从文件数据中提取特征向量用于计算文件相似度；

(2)聚类样本选取，即从输入数据集D中选取部分数据作为样本数据集，即样本数据集为S；

(3)样本数据聚类，利用平衡聚类方法聚类样本数据集S，具体为：

(A)根据样本数据集S构建相似图G，并满足如下条件：(i)V是顶点集，任意v∈V对应到唯一的一个数据d(v)∈S；每个顶点v有一个权重WV(v)，且WV(v)＝d(v).len；(ii)E是边集，任意(x，y)∈E都有一个权重WE(x，y)，且WE(x，y)＝r(d(x)，d(y))；

(B)调用图分割方法kmetis分割相似图G，并为设置kmetis设定两个约束条件：

约束1：图分割方法需要删除相似图中的一些边，方法必须最小化删除边的权重和，约束1要求分割出来的每个子图中的数据之间具有高相似度，而跨子图数据之间只有低相似度；

约束2：分割方法还必须满足平衡约束条件，即平衡每个子图的顶点权重和；

(4)剩余数据聚类，按照相似度归类剩余数据X＝D-S，在满足负载均衡约束的前提下，把剩余数据归入到最相似的类；

(5)结果压缩，对每个类别进行单独压缩，默认采用BMCOM压缩方法，同时亦可采用各种成熟的DELTA压缩方法。

2.根据权利要求1所述基于数据相似的平衡聚类压缩方法，其特征在于，所述步骤(1)具体为：

(A)选择一个窗口长度w和k个整数域上的独立置换函数{h₁，h₂，…，h_k}，每个置换函数相互独立；

(B)从前往后逐字节扫描输入文件f，利用高效的Rabin指纹函数，计算当前滑动窗口内数据的指纹，记该指纹为fp，利用上述k个独立置换函数作用于指纹fp，得到k个置换指纹h₁(fp)，h₂(fp)，…，h_k(fp)，记文件f的特征向量F(f)为{F₁(f)，F₂(f)，…，F_k(f)}，特征向量的第i维F_i(f)等于第i个置换函数所产生的置换指纹的最小值，即F_i(f)＝MIN(F_i(f)，h_i(fp))；

(C)扫描完整个文件之后，可计算出文件的特征向量F(f)，文件数据相似度r(x，y)根据文件x和y的特征向量定义为|F(x)∩F(y)|/|F(x)∪F(y)|。