[发明专利]一种数据去重方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种数据去重方法及装置。

背景技术

随着云计算技术的应用，不同的用户可以将各自的数据上传到服务器上，通过云计算技术可以将原来各个相互隔离的信息孤岛有机地联系起来。但是由于不同用户之间的数据有重复，尤其近似用户，比如同一个领域、同一家公司、同一个部门等的用户之间的重复数据比例更高。存储重复数据不仅浪费存储资源，而且会增加网络中传输的数据量，容易造成网络拥塞增加网络运行成本。

为了减少相同数据的重复存储，在现有技术中通过将已保存的数据按预设单位切割成相同容量的数据块并计算各数据块的指纹，然后将各数据块指纹的集合作为样本对比库，对于待保存的数据，同样按照预设单位切割成相同容量的数据块，并计算每个待比较数据块的指纹；然后将待比较数据块的指纹分别与样本对比库中的指纹进行比较，如果某数据块的指纹与样本对比库中的某个指纹相同，则无需保存该数据块。这样虽然能达到去重的效果，但是在云计算中，由于已保存的数据容量通常较大，所以对应的样本指纹的数量和容量也比较大，举例来说，1PB容量的数据按照4KB的容量进行切割时，对应的指纹的集合大概有5500GB，在进行比较时，通常需要将样本对比库中的指纹读取到内存中，如此大容量的指纹无法放入任何一个内存中。即使有如此大容量的内存，由于比较时需要进行大量的对比也容易造成网络拥塞，同时，网络运行的成本也会较高。

发明内容

本发明实施例提供一种数据去重方法和装置，以解决在保障重删率的前提下，减小样本对比库容量的问题。

本发明第一方面提供了一种数据去重方法，包括：

接收用户发送的待保存数据，按照预设单位将所述待保存数据切分成多个数据块，并计算所述多个数据块中的每个数据块的指纹；

根据所述用户的用户特征从已保存的用户库中确定至少一个对比用户，其中，所述至少一个对比用户与所述用户拥有至少一个相同的用户特征；

将所述至少一个对比用户对应的指纹作为样本对比库；

将所述多个数据块中的每个待比较数据块的指纹与所述样本对比库中的指纹进行比较；

存储所述多个数据块中的差异数据块；其中，所述差异数据块中的每个数据块的指纹与所述至少一个对比用户对应的指纹均不同。

在第一方面的第一种可能的实现方式中，所述根据用户的用户特征从已保存的用户库中确定至少一个对比用户，包括：

根据所述用户的用户特征获取所述用户的用户特征码，其中，所述用户特征码用于表征所述用户的用户特征；

将所述用户的用户特征码与预设掩码进行掩码计算，得到第一计算结果；

将所述用户库中其他用户的用户特征码分别与所述预设掩码进行掩码计算，将所述其他用户中计算结果为所述第一计算结果的用户作为对比用户。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述将所述至少一个对比用户对应的指纹作为样本对比库，包括：

将所述其他用户中计算结果为所述第一计算结果的所有用户的指纹作为样本对比库。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述将所述至少一个对比用户对应的指纹作为样本对比库，包括：

将与所述用户掩码计算结果相同的每个用户根据所述每个用户的指纹量排序得到对比用户列表，根据指纹量的大小依次将所述对比用户列表中的单个用户的指纹作为样本对比库以便与待比较数据块的指纹进行比较。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述将所述多个数据块中的每个数据块的指纹与所述样本对比库中的指纹进行比较；存储所述多个数据块中的差异数据块，包括：

将待比较数据块的指纹与所述用户列表中的单个用户的指纹生成的样本对比库进行比较；

若当前比较的数据块的指纹在所述用户列表中的当前用户的指纹生成的样本对比库中不存在，且所述当前用户在所述用户列表中的排序高于指纹量最小的用户，则将所述当前比较的数据块归类为待比较数据块，以便将待比较数据块的指纹与所述用户列表中的下一个用户的指纹生成的样本对比库进行比较；

若所述当前比较的数据块的指纹在所述用户列表中的任一单个用户的指纹生成的样本对比库中都不存在，则所述当前比较的数据块为差异数据块，存储所述当前比较的数据块。