[发明专利]一种面向数据删重的去中心化存储方法及存储装置

权利要求书

1.一种面向数据删重的去中心化存储方法，其特征在于：以在客户端实现在线去重，包括：

步骤1，将对象的命名与对象的存储位置进行解耦合；

步骤2，将对象的内容利用数据指纹的方式，与存储位置建立映射关系，从而使得相同内容的对象会被放置到相同的位置，只需维护对象名字与数据位置之间的映射关系，从而相同的数据只需要保存一份，同时数据指纹本身也降低了副本一致性检查的开销，系统可以使得数据和元数据达到最终一致性。

2.根据权利要求1所述的一种面向数据删重的去中心化存储方法，其特征在于所述一种面向数据删重的去中心化存储方法包括：

元数据的管理和组织方法、基于内容寻址的数据放置算法和副本一致性算法以及反向引用和垃圾回收算法，其中：

所述元数据的管理和组织方法包括对元数据的维护，在实现时将数据序列化并存储到一个单独的文件中，文件名用写入时刻的时间戳表示，具体过程包括：

(1)每次POST请求记录时间戳信息，将元数据序列化后写入文件，存储到缓冲区；

(2)将缓冲区的文件加入队列，等待写入最终的存储位置；

(3)读取时对时间戳进行排序；

(4)读取时间戳最新的元数据；

(5)一个优化是在每次进行访问时，可以清除掉系统中陈旧的元数据文件；

所述副本一致性算法包括数据的副本一致性维护，其步骤包括：

(1)节点在本地完成数据校验，如果校验出错，将损坏的数据移入隔离区；

(2)Replicator进程遍历本地文件系统，每次检查远程节点中是否存在最新的副本，如果不存在，则直接主动推送一份本地数据，如果存在，则终止；

(3)Replicator进程持续工作，对于数据依然是循环检查，防止磁盘故障和节点故障；

所述反向引用和垃圾回收算法包括：

三个操作原语Create、Merge、Delete：Create原语用来生成一条反向引用信息backref，并放入对象的存储目录中；Merge原语负责将单条反向引用信息backref并入反向引用映射表backmap，backmap的时间版本信息为backref的最大时间戳；Delete原语负责将已并入反向引用映射表的单条反向引用信息backref删除；对于对象存储服务，接口中仅PUT和DELETE操作会发生对反向引用的操作，此时会调用Create原语；Replicator在进行元数据推送时会进行合并和删除已处理的backref；GC负责检查backmap中是否为空，如果为空则将该对象回收；对象回收采用的悲观的处理方式，Replicator在执行Merge操作时会对backmap加锁，此时GC直接放弃对backmap的访问，或者GC发现仍有未被并入的backref存在，都会在下一个清理时间片再处理该对象；由于垃圾回收的频率较低，Replicator仅进行单线程操作，加锁时仅针对backmap信息，对数据的访问没有影响，系统对于锁的开销较低，Replicator可根据系统的负载来设置反向引用合并的周期，以防止大量写操作生成大量小文件对文件系统造成压力。

3.根据权利要求2所述的一种面向数据删重的去中心化存储方法，其特征在于：对于元数据的一致性维护采用Quorum仲裁协议、反熵协议和时间戳检查，利用这三种机制使得元数据可达到最终一致性：首先，对于一个对象的元数据在这个系统最终要达到的一致状态，由带有最新时间戳的元数据文件决定；其二，对于元数据的写入，根据Quorum协议，需要超过半数的副本完成写入成功后才可返回，故在一次写入操作中系统中会保有超过半数的最新版本的元数据；其三，对于一个对象的每一个副本，都会向其余的所有副本推送本地时间戳最新的元数据，实际上是按照反熵协议在几份副本当中以泛洪的方式传播最新的数据，直到所有的副本都达到一致状态，即都达到了写入最新的版本。