[发明专利]一种基于重删的精简复制方法

说明书

本发明公开了一种基于重删的精简复制方法，包括逻辑卷的写操作与逻辑卷的读操作；所述逻辑卷的写操作包括以下步骤：S1：根据逻辑卷的地址除以4KB，算出其VBN，即逻辑块号；S2：按照4KB的数据内容通过hash函数算出哈希值；S3：更新到Merkle Tree中VBN对应的叶子节点上；S4：再以4KB数据的哈希值通过DHT，即一致性哈希表,算出来4KB的数据应该发往分布式集群中的目标节点；S5：再通过objectrecord记录4KB数据落到节点上的PBN，即物理块号将数据刷写到物理盘上，Objectrecord会记录object的哈希值、引用计数、PBN等信息；本发明在分布式系统中实现了逻辑卷重复数据删除以及管理，以及逻辑卷复制、快照、克隆的高效操作，提高效率。

技术领域

本发明涉及分布式存储系统技术领域，更具体地说，涉及一种基于重删的精简复制方法。

背景技术

随着云计算的发展，传统的存储设备产品越来越显现出各种局限性。分布式存储系统就应用而生，解决了存储系统的横向扩展、性能瓶颈、单点故障等问题，大大的提高了系统的可靠性、可用性和存储效率，为了更高效的利用存储系统的存储空间，重复数据删除技术应用而生。重复数据删除在维基百科上的定义为“一种可粗粒度去除冗余数据的特殊数据压缩技术”，一般为文件级别或者块级别的匹配，其目标是达到性能和去重复比例的平衡；

目前业界重复数据删除一般都用于备份系统中，主要做法是在用户通过网络把数据从源端上传到目标端的备份系统，在目标端使用单项函数生成需要上传的数据的指纹，通过对比指纹判断是否存在相似的数据，决定是否存储该数据。这种重复数据删除方法有一定的局限性，只适用于备份系统

为此，提出一种基于重删的精简复制方法。

本发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种基于重删的精简复制方法，在分布式系统中实现了逻辑卷重复数据删除以及管理，以及逻辑卷复制、快照、克隆的高效操作。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。

一种基于重删的精简复制方法，包括逻辑卷的写操作与逻辑卷的读操作；

所述逻辑卷的写操作包括以下步骤：

S1：根据逻辑卷的地址除以4KB，算出其VBN，即逻辑块号；

S2：按照4KB的数据内容通过hash函数算出哈希值；

S3：更新到Merkle Tree中VBN对应的叶子节点上；

S4：再以4KB数据的哈希值通过DHT，即一致性哈希表,算出来4KB的数据应该发往分布式集群中的目标节点；

S5：再通过objectrecord记录4KB数据落到节点上的PBN，即物理块号将数据刷写到物理盘上，Objectrecord会记录object的哈希值、引用计数、PBN等信息；

所述逻辑卷的读操作包括以下步骤：

S1：根据逻辑卷的地址除以4KB，算出其VBN(逻辑块号)；

S2：通过VBN在Merkle Tree的叶子节点上找到其哈希值；

S3：再通过DHT，即一致性哈希表，算出来这个哈希对应的数据块内容在集群中的目标节点上；

S4：再通过Objectrecord的PBN到相应的物理盘上读出数据。