[发明专利]一种分布式对象存储中的元数据管理方法

说明书

本发明公开了一种分布式对象存储中的元数据管理方法，包括：S1、将逻辑卷划均匀分成多个逻辑单元，每个所述逻辑单元即为一个对象，每个所述对象对应一个对象元数据，所述对象元数据用于唯一确定其对应的所述对象的内容和位置；各个所述对象元数据构成元数据对象；S2、通过计算各个所述对象和所述元数据对象内容的哈希值，在一致性哈希表中查到其副本数据在集群中的目标节点，将所述对象和所述元数据对象通过网络存储在目标节点上；S3、通过所述逻辑卷的GUID的哈希值，在所述集群的各个节点上获取到所述逻辑卷所有对象的元数据信息，完成所述逻辑卷默克尔树的重建。解决了分布式系统中单点故障问题、元数据管理架构的扩展、以及数据和元数据一致性问题。

【技术领域】

本发明属于数据处理技术领域，具体涉及一种分布式对象存储中的元数据管理方法。

【背景技术】

随着网络和信息技术的飞速发展,全球数据日益增长。面对当前PB级的海量数据存储需求,传统的存储系统在容量和性能的扩展上存在瓶颈。分布式存储系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前得到广泛研究和应用。分布式存储系统就是将数据分散存储在多台独立的存储服务器上，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

在使用和设计分布式存储系统时，非常重要的一个环节是数据寻址，即定位一个数据副本存放在哪个机器甚至哪块磁盘，这个就是通过操作元数据来管理定位的。据统计,在分布式存储系统中有超过一半以上的系统操作是元数据操作，元数据操作成为制约分布式存储系统的性能和扩展性的一个严重的瓶颈。目前有几种常用的解决方案：集中式元数据管理，分布式元数据管理，无元数据管理。

集中式元数据管理架构采用单一的元数据服务器，实现简单.但是存在单点故障等问题。

分布式元数据管理架构将元数据分散在多个结点上，进而解决了元数据服务器的性能瓶颈等问题，并提高了元数据管理架构的可扩展性，但实现较为复杂，并引入了元数据一致性的问题。

无元数据服务器的分布式架构，通过在线算法组织数据，不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难.实现较为复杂。

【发明内容】

本发明的目的是提供一种分布式对象存储中的元数据管理方法，旨在解决分布式系统中单点故障问题、元数据管理架构的扩展、以及数据和元数据一致性问题。

本发明采用以下技术方案：一种分布式对象存储中的元数据管理方法，包括：

S1、将逻辑卷划均匀分成多个逻辑单元，每个所述逻辑单元即为一个对象，每个所述对象对应一个对象元数据，所述对象元数据用于唯一确定其对应的所述对象的内容和位置；各个所述对象元数据构成元数据对象；

S2、通过计算各个所述对象和所述元数据对象内容的哈希值，在一致性哈希表中查到其副本数据在集群中的目标节点，将所述对象和所述元数据对象通过网络存储在目标节点上；

S3、通过所述逻辑卷的GUID的哈希值，在所述集群的各个节点上获取到所述逻辑卷所有对象的元数据信息，完成所述逻辑卷默克尔树的重建。

进一步的，对象元数据为二元组结构，包含对象的哈希值和对象的逻辑块号，所述逻辑卷对其对象按照默克尔树来管理，所述默克尔树包括叶子节点和中间节点，所述叶子节点用于存储对象的哈希值，所述叶子节点号即为所述对象的逻辑块号，所述中间节点用于存储的就是以叶子节点哈希值为内容计算出来的哈希值。

进一步的，元数据对象包括元数据对象头信息和元数据数组；所述元数据对象头信息包括逻辑卷的GUID、哈希值、元数据的数量、前面元数据对象的数量、前一个元数据对象的哈希值和元数据对象的操作序列号；所述元数据数组即为元数据的集合。