[发明专利]一种分布式文件系统元数据的解耦合分布方法

说明书

本发明公开了一种分布式文件系统元数据的解耦合分布方法，包括：对分布式文件系统的元数据进行分离，以得到目录的元数据、目录项的元数据和文件的元数据；将所述目录元数据集中存储在目录元数据索引节点，并不包含指向目录项的指针。根据所述目录索引节点执行目录操作。将每个目录项元数据分割之后与与之相关的文件元数据存放在同一个节点，并建立指向目录元数据的反向索引。本发明具有如下优点：减少了分布式文件系统访问元数据时各个节点之间的信息交互，降低了元数据访问的延迟，同时，通过分离目录内容的方法，解耦合了文件和目录之间的强关联性，能够达到很高的吞吐量，从而提高了分布式文件系统对于元数据的处理效率。

技术领域

本发明涉及计算机领域，具体涉及一种分布式文件系统元数据的解耦合分布方法。

背景技术

分布式文件系统是一种支持海量数据存储的新型存储系统，被广泛应用于数据中心，超算中心和公有云平台。分布式文件系统具有很多好的优点相对于传统的集中式存储。如可以对存储数据进行横向扩展，通过增加存储节点的方式可以动态的扩充存储的容量，并保证访问吞吐量的同步提升。其次，分布式文件系统相对于传统的集中式存储具有灵活的容错策略，可以使用副本机制和纠删码进行分布式的容错。分布式文件系统还可以使用更加廉价的存储和计算设备去构建一个大规模的存储集群，以保证大量数据的访问。但是受限于文件系统的访问标准(POSIX)，分布式文件系统的元数据访问往往成为了其性能的瓶颈。其元数据的访问往往无法满足高吞吐量和低延时的需求，但是在实际的系统中，超过一半以上的数据访问需要经过元数据节点。为了解决分布式文件系统元数据的可扩展性，现有的技术主要有下面三种：

一种是基于动态目录树的分布式元数据节点扩展方法，这种方法的特点是将分布式文件系统的名字空间按照子目录分为不同的子树，每个子树独立的存放在某一个节点，并且更具访问的负载动态的调节存放的节点。这种方式的优势是能够根据负载的同步动态的调整访问的位置，但是这种方式无法解决文件访问的路径回朔问题，当访问一个文件的时候，需要访问整个路径的所有目录，而这些目录往往没有存放在同一个节点，往往造成了较大的访问延迟。

另一种是基于哈希算法的元数据扩展方法，其特点是将一个目录内的文件通过哈希的方式将元数据分配到不同的节点。这种方式的优势是针对一个目录中有大量的文件时，能够降低文件访问的负载。但是无法解决目录的扩展性问题。

第三种方法是通过利用键值数据库存储文件元数据的方法，这种方法利用了键值数据库访问快，延时低的特点，但是这种方法依然存在路径如第一种方法存在的路径查找问题，依然无法解决访问时延时较低的问题。

为了解决路径延时的问题，这些方法往往在客户端缓存元数据，但是这又带来了很多不一致性的开销，从而无法从更本上解决问题。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种分布式文件系统元数据的解耦合分布方法，以解决分布式文件系统的元数据扩展性，吞吐率不高和延迟较低的问题。

为了实现上述目的，本发明的实施例公开了一种分布式文件系统元数据的解耦合分布方法，包括以下步骤：S1：对分布式文件系统的元数据进行分离，以得到目录索引节点的元数据、目录项的元数据和文件的元数据；S2：将所述目录的元数据设置在目录索引节点；S3：将每个目录项根据文件的分布情况进行分割，并在文件存放的节点存储与之相关的目录项，并建立指向目录元数据的反向索引。

进一步地，所述目录操作包括目录的创建、目录的删除、读取目录、获取目录的所有元数据、改变目录所在的用户组和改变目录所属的用户。

进一步地，还包括：提供全局唯一确定文件的标识；计算所需要访问的文件的全局所述标识的哈希值；根据所述哈希值定位元数据存放的节点。

进一步地，所述标识为文件的完整路径。