[发明专利]一种面向数据删重的去中心化存储方法及存储装置

说明书

本发明提供一种面向数据删重的去中心化存储方法，以在客户端实现在线去重，包括：步骤1，将对象的命名与对象的存储位置进行解耦合；步骤2，将对象的内容利用数据指纹的方式，与存储位置建立映射关系，从而使得相同内容的对象会被放置到相同的位置，只需维护对象名字与数据位置之间的映射关系，从而相同的数据只需要保存一份，同时数据指纹本身也降低了副本一致性检查的开销，系统可以使得数据和元数据达到最终一致性。还提供了相应的面向数据删重的去中心化存储装置，包括：代理服务子系统及其接口；接口服务子系统及其接口；数据服务子系统及其接口；以及Windy客户端和系统网络互联子系统。

技术领域

本发明涉及分布式存储、区块链、存储数据重删技术领域，特别是涉及一种面向数据删重的去中心化存储方法及存储装置。

背景技术

随着社会信息化水平的不断提高和互联网技术的高速发展，各类非结构化数据，如图片、音视频、文本资料等呈现出爆炸性增长的趋势，在云存储服务为人们带来便利的同时，数据规模也在急剧膨胀，这对存储海量数据的能力提出了更高的要求。研究表明，数据中高达75％的部分是重复的，存储资源利用率不高的一个重要原因就是数据中存在大量的重复和冗余。

当前主流对象存储系统存在的不足：

Swift对象存储中接口服务对底层数据访问依然是直接访问文件系统的方式，对存储设备的抽象依然过于简单，同时对底层数据访问优化不足。Swift存储系统在设计时将接口信息与数据存储绑定在一起，二者是高耦合的，这种设计虽然在一定程度上简化了系统的结构和提高了性能，但是，对象命名、位置信息与数据存储没有分离，会对功能的扩展带来一系列问题：例如在Swift中对象的拷贝、重命名、共享操作就需要将原先对象的数据重新拷贝或迁移，会造成存储和网络资源的浪费，对于大对象，浪费问题尤其严重。

Swift在起初设计时，系统中的每个基本单位是对象，每个对象在一致性哈希空间中占据一个位置，对大小对象一视同仁，会造成磁盘利用的负载不均衡，在Grizzly版中虽然加入了大对象分段存储的机制，但其分段存储的流程过于复杂，接口上也并不整洁，故并未将此问题完全解决。该问题与前述对底层存储访问抽象的不足也是有很大联系的。

最重要的是，数据迅速膨胀的问题在Openstack生态系统中依然存在，并且Swift存储系统也并未完全解决，主要原因在于Swift对象存储系统中，对数据中存在大量的重复和冗余并未加以处理，造成存储和网络资源的浪费。上述两点Swift设计上的不足为引入数据去重优化对象存储带来了困难。在Openstack云计算环境下引入数据去重的方案是必要的。

因此，需要在云存储系统的需求场景中设计一种新的面向数据删重的去中心化存储方法及存储装置，以克服现有技术中的一些限制和缺陷。

发明内容

本发明的目的在于提供一种面向数据删重的去中心化存储方法及存储装置，针对Swift中数据存储大量重复的问题，在存储系统设计层面和对象寻址算法层面进行改进，有效提高了对象存储系统的存储设备和网络带宽的利用率，其发明构思在于结合基于内容寻址的优良特性，以及结合对象存储系统结构设计，采用对数据指纹进行一致性哈希放置的方法，有效解决重复的数据被多次存储导致存储空间浪费的问题，提高对象存储系统的存储设备和网络带宽使用效率。同时依据基于内容寻址的前提，设计实现相应的元数据管理策略和垃圾回收算法，以满足系统的正确性和高效性。

本发明第一方面，提供一种面向数据删重的去中心化存储方法，以在客户端实现在线去重，包括：

步骤1，将对象的命名与对象的存储位置进行解耦合；

步骤2，将对象的内容利用数据指纹的方式，与存储位置建立映射关系，从而使得相同内容的对象会被放置到相同的位置，只需维护对象名字与数据位置之间的映射关系，从而相同的数据只需要保存一份，同时数据指纹本身也降低了副本一致性检查的开销，系统可以使得数据和元数据达到最终一致性。