[发明专利]基于云存储的文件系统去重方法及装置

说明书

技术领域

本发明涉及云存储技术领域，尤其涉及一种基于云存储的文件系统去重方法及装置。

背景技术

在现有的磁盘管理应用中，往往存在着大量重复数据，这些重复数据的存取将直接影响到磁盘或卷的实际空间利用率。如果这些大量且冗余的数据通过网络进行上传或下载，则又将会对网络带宽带来较大影响，影响用户数据业务以及其他业务的正常使用。

随着云计算技术和网络技术的快速发展，加之网络存储成本的不断降低，越来越多的用户开始选用云存储的方式来替代原有的磁盘存储方式，而这种变化对云存储技术的处理能力要求也越来越高，如何降低或避免大量重复数据对系统资源和网络资源的影响则成为云存储技术的一个亟需解决的问题。

现在也出现了一些数据去重的技术，例如利用数据间的相似度进行去重，这里的相似度比对是通过元数据的属性值等参数来进行字符串或字段等的计算比对，在进行计算比对之前，还可以随着输入的元数据提供相应的权重值，而权重值是指字符在字符串的位置值与该字符的ASC码值的乘积，是一种字符所在的位置值，加入权重值因素的元数据比对得出的复合相似度通过与预设阈值进行比较，来对相似度较高的数据执行删除操作，这种方案虽然能够起到一定的去重效果，但在数据安全性和准确性存在一定的缺陷。

发明内容

本发明的目的是提出一种基于云存储的文件系统去重方法及装置，能够通过数据去重来降低对系统资源和网络资源的需求，且保证一定的数据安全性和准确性。

为实现上述目的，本发明提供了一种基于云存储的文件系统去重方法，包括：

云存储文件系统接收数据提供者通过参考指针上传的第一对象元数据；

所述云存储文件系统通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；

所述云存储文件系统通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；

在检查过程中，所述云存储文件系统将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较；

如果所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录，则对所述第一对象元数据执行删除操作。

为实现上述目的，本发明提供了一种基于云存储的文件系统去重装置，该文件系统去重装置设置在云存储文件系统中，具体包括：

数据接收单元，用于接收数据提供者通过参考指针上传的第一对象元数据；

哈希计算单元，用于通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；

记录比对单元，用于通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，在检查过程中，将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；

数据删除单元，用于在检查出所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录时，对所述第一对象元数据执行删除操作。

基于上述技术方案，本发明在用户上传对象元数据时，通过哈希算法计算对象元数据的哈希值，并通过比较哈希值来确定在云存储文件系统中是否存在已有记录，进而执行去重操作。相比于相似度比较的数据去重方式，这种方式更加精确，且误删率较低，从而在保证了数据的完整性的同时，节省了用户的存储成本。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于云存储的文件系统去重方法的一实施例的流程示意图。

图2为本发明基于云存储的文件系统去重方法的另一实施例的流程示意图。

图3为图2实施例的一种较形象的过程示意图。

图4为本发明基于云存储的文件系统去重装置的一实施例的结构示意图。

图5为本发明基于云存储的文件系统去重装置的另一实施例的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。