[发明专利]一种基于聚类的重复数据检测方法

摘要

本发明公开了一种基于聚类的重复数据检测方法，其主要针对数据相似性较强的数据集类型，通过利用数据集中的数据相似性原理，提高重复数据检测的性能，同时提升数据去重的性能。具体而言，对于数据集中可能的重复数据，本发明利用相似性合并策略，先对检测指纹列表进行分段，每段选出代表性指纹，根据其代表性指纹将不同段分类并合并到不同的指纹容器中。指纹容器从数据集的相似段中收集重复的指纹，以增加数据去重的效率，同时提升去重的性能。指纹容器存储在磁盘上，它可以作为一个整体被写入和读出磁盘，这提高了指纹检索效率并克服了相似段的分段存储的问题。

主权项

一种基于聚类的重复数据检测方法，其特征在于，包括以下步骤：(1)从磁盘中获取指纹列表文件，判断是否能够从该指纹列表文件中获取到部分指纹，如果获取不到则过程结束，否则将获取到的部分指纹其存储在指纹输入缓存空间中，将指纹输入缓存空间中的所有指纹N进行分段，每M个指纹组成一个指纹段，其中N为所有指纹的数量，M为任意自然数；(2)设置计数器i＝1；(3)判断i是否大于N/M，如果大于则返回步骤(1)，否则进入步骤(4)；(4)从步骤(1)得到的多个指纹段中取出第i个指纹段，并获取第i个指纹段中指纹值最小的指纹作为代表指纹，并判断该代表指纹是否位于内存中的代表指纹索引表中，如果是，则进入步骤(5)，否则进入步骤(8)；(5)从代表指纹索引表中取出该代表指纹对应的指纹容器ID，并通过查找内存命中表来判断该指纹容器ID所对应的指纹容器是否存在于指纹容器缓存中，如果是则进入步骤(6)，否则从磁盘中将该指纹容器ID对应的指纹容器读入到指纹容器缓存中，然后转入步骤(6)；(6)将代表指纹所在指纹段中重复的指纹剔除，并将剔除后的指纹段中的每个指纹逐一与指纹容器ID所对应的指纹容器中的所有指纹进行匹配，如果匹配的结果为重复，则将该指纹标记为重复指纹，如果匹配结果为不重复，则将该指纹插入该指纹容器中；(7)设置计数器i＝i+1，并返回步骤(3)。(8)在指纹容器缓存中构建一个新的指纹容器，将该代表指纹所在指纹段中重复的指纹剔除，将剔除后的指纹段中的所有指纹插入到新的指纹容器中，将代表指纹及新的指纹容器ID以键值对方式插入到代表指纹索引表中，并将新的指纹容器ID插入内存命中表中。(9)设置计数器i＝i+1，并返回步骤(3)。