[发明专利]一种分布式存储系统的元数据同步方法、系统及设备

说明书

本申请提供了一种分布式存储系统的元数据同步方法、系统及设备，本申请通过共识协议集群确定元数据服务主节点和元数据服务从节点；在发生元数据变更时，利用元数据服务主节点将元数据变更操作封装成变更操作日志；将变更操作日志按序写入共识协议集群的segment；在写入成功后，将变更操作日志及其对应的元数据更新到元数据主节点的本地存储引擎中；当共识协议集群中有新的segment被创建或间隔预设时长时，按照预设同步规则将变更操作日志及其对应的元数据同步到元数据服务从节点的本地存储引擎中。本申请元数据服务可以直接从本地存储引擎读取元数据，不需要经过网络调用和共识过程，降低了延时，提高了同步效率。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种分布式存储系统的元数据同步方法、系统及设备。

背景技术

分布式存储系统通过网络将多台独立的服务器连接在一起组成分布式集群，并将集群内各台服务器的机械磁盘、固态硬盘等存储资源组成资源池进行统一管理和对外服务。分布式存储系统通常从存储资源池中分配出虚拟卷，iSCSI LUN、文件等存储对象提供给存储使用方，而一个虚拟卷或者文件的数据容量可能比单独一台服务器上的全部存储容量还要大。例如，一个虚拟卷64TB，而集群内单独一台服务器上的物理磁盘容量仅32TB。为了支持数据量超过单独一台服务器的存储容量的虚拟卷，分布式存储系统会将虚拟卷或者文件等存储对象再划分为更细粒度的数据分片，例如将一个64TB的卷划分成多个256MB、4MB或1M等固定的小尺寸数据分片，并将数据分片放置到集群内多台服务器中，这样一个存储对象就能利用多台服务器的存储资源。为了数据安全和提高读性能，分布式存储系统通常还会基于数据分片做数据冗余，一般用副本技术或者纠删码技术。以副本技术为例，假设副本数是3，分布式存储系统从统一资源池中分配出一个较大的存储对象，将这个存储对象划分成多个更细颗粒度的数据分片，并以一定的策略将每个数据分片的3个副本分配到集群内3台不同的服务器上。为了对卷或者文件这类数据对象进行正常的数据读写，就得知道所需的数据在该数据对象的哪个数据分片，以及相应的数据分片有哪些副本，这些副本分别在哪几台服务器上。这类定位数据的信息是分布式存储系统的重要元数据。另外，分布式存储系统的元数据信息还包括文件、目录属性、组成集群的数据节点信息等。

元数据对分布式存储系统至关重要，如果元数据丢失可能造成分布式存储系统的业务数据无法访问，对用户的业务造成重大影响。因此这类元数据通常也会采用集群的方式（多副本等）进行持久化存储。此外，分布式存储系统对元数据的一致性要求非常严格，不能容忍数据不一致，因此对元数据进行更新时需要确保集群中各个服务器保存的元数据是强一致的。

目前业界的分布式存储系统对元数据的存储大多采用多副本存储的机制，为了确保元数据多副本的一致性，常用的方式为基于Paxos/Raft分布式一致性算法实现副本同步，整个元数据的访问都采用分布式共识机制完成（例如直接使用 etcd 、zookeeper或cassandra 托管全部的元数据，直接通过这样的共识读写元数据），在这个模式中，数据访问都需要经历共识过程，更新元数据时只能先写入主节点，并将元数据更新同步到大多数从节点后才能返回更新成功，读的时候也需要经过 Raft 模块的 Leader 提供数据。

直接基于分布式一致性协议实现的元数据同步机制存在的主要问题是，元数据的查询相对代价较大。共识协议集群通常仅提供 Key-value 粒度的单个尺度对象查询，而每个对象查询都是相对独立的动作，都需要经过共识确认的过程，在进行范围查询或者较为复杂的包含数据语义的条件查询时，就需要以较大的代价获取较多的数据结果再进行二次拆分。其中每个小对象的查询根据具体共识算法的不同都需要经历共识过程，耗费的时间较高。而在分布式存储系统中，元数据读请求的频率通常情况下也远大于写请求。因此元数据读请求的性能对分布式存储的性能至关重要。

发明内容

本申请实施例的目的在于提供一种分布式存储系统的元数据同步方法、系统及设备，以解决目前元数据同步效率低，且元数据读请求性能低的问题。具体技术方案如下：