[发明专利]分布式元数据管理一致性保证方法、装置、系统及应用

说明书

本发明公开了一种分布式元数据管理一致性保证方法、装置、系统及应用，本发明在元数据集群中部署一致性节点，客户端向一致性节点发送元数据更新请求，一致性节点向客户端返回元数据更新成功的消息并顺序记录元数据更新请求，将旧元数据标记为作废，且和元数据服务器进行异步的数据同步后作废标记；客户端元数据服务器发送元数据读操作，如果元数据读操作的对象被标记为作废，则通过一致性节点返回尚未完成异步的数据同步的读数据；否则，通过元数据所在的元数据服务器直接返回读数据。本发明能够保证分布式元数据管理的一致性，在保证元数据更新的一致性的同时，尽可能提升元数据访问性能。

技术领域

本发明涉及大规模数据存储的文件系统领域，具体涉及一种分布式元数据管理一致性保证方法、装置、系统及应用，用于通过在分布式文件系统的元数据集群中引入一致性节点，从而以很低的开销保证元数据一致性。

背景技术

随着人类社会积累的数据量不断增长，存储系统的规模越来越大，构建可扩展的存储系统逐步受到学术界和工业界的重视。分布式文件系统作为实现可扩展存储的一种重要手段已引起广泛的关注。传统的分布式文件系统如GFS、Lustre、GPFS、PVFS等均采用一个元数据服务器，这种方式集中式的元数据管理方法成为分布式文件系统实现性能扩展的主要障碍。近年来，多种文件系统推出分布式元数据管理手段。例如，改进版本的Lustre能够支持多个元数据服务器，且采用子树划分的方式将文件系统目录树分布到各个元数据服务器上；CephFS以子树划分为基础，还能在各个元数据服务器之间实现子树的动态迁移；GlusterFS则采用无中心架构，文件系统集群中任意节点都可用作元数据服务器。以上各种方法为实现可扩展的元数据服务提供了解决方案，但很少关注多个元数据服务器之间的数据一致性问题。

文件系统元数据的一致性一直是学术界长期关注的话题。大部分元数据更新操作的背后都涉及多次写磁盘操作，这些写操作在执行过程中随时会出现系统故障。发生系统故障时，如果只有部分写操作被持久化到磁盘中，在系统重启后则会出现数据不一致的情况。针对这一问题，当前的文件系统一般采用日志机制保证元数据一致性。即：上层应用请求文件系统更新元数据时，先将该元数据更新对应的所有写操作组装成一个事务，然后将该事务封装到一个唯一的写操作中，这个唯一的写操作可以原子执行，若其成功地持久化到存储设备上，则对应的元数据更新最终可体现在文件系统中；若该写操作在执行过程中出现系统故障，则对应的元数据更新最终会失败，不会对文件系统产生任何改变。总之，日志机制能够保证对文件系统的元数据更新要么完全成功执行，要么执行失败不会对文件系统产生任何影响，不会导致文件系统元数据出现不一致的情况。