[发明专利]一种分布式文件系统子树存储方法及装置

说明书

技术领域

本申请涉及分布式文件系统元数据性能优化领域，特别涉及一种分布式文件系统子树存储方法及装置。

背景技术

信息技术的高速发展，随之而来的是更多的数据需要存储，因此就需要文件系统来管理存储数据。文件系统中的数据分为数据和元数据，数据指的是普通文件中的实际数据，而元数据指用来描述一个文件特征的系统数据，例如访问权限、文件拥有者以及文件的储存的分布信息等。在集群文件系统中，目录信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先读取到文件的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。

因此，在面对数量繁多的文件的应用场景中，操作文件的性能就受制于元数据的读取写入性能。所以在读取元数据中，通常元数据集群通常将目录信息中的目录划分为多个目录子树，将这些子树的负载压力均分到元数据服务上。通过将目录存储压力进行划分，到每个目录子树上，减少了部分的目录负载压力。

而一般元数据集群将目录子树信息存储到日志中，通过日志存储目录子树信息。由于日志是分段存储的，因此每个日志端都要保存一份子树信息，以保证子树信息的正确性。因此当文件数量较多时，子树信息的数量也会指数级的增加，所需要的日志数据因此变得庞大，影响日志的读取组度，进而影响元数据的性能。

因此，如何解决分布式文件系统中元数据性能问题，是本领域技术人员需要重点探讨的问题。

发明内容

本申请的目的是提供一种分布文件系统子树存储方法及装置，通过使用SSD盘作为存储元数据的磁盘，还有使用对象存储的存储文件方式，优化了元数据中的子树的读取性能，加快了元数据的操作速度，使元数据的性能得到了很大的提升。

为解决上述技术问题，本申请提供一种分布式文件系统子树存储方法，该方法包括：

元数据集群对目录进行分区处理，得到目录子树；

为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务，作为子树信息；

将所述子树信息存储到以SSD盘为基础的元数据池。

可选的，当所述目录子树变化时，还包括：

以日志的形式记录所述目录子树的变化，得到子树变化日志；

当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

可选的，还包括：

将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

可选的，所述权限信息还包括：

访问权限、文件拥有者以及文件数据块的分布信息。

本申请还提供一种分布式文件系统子树存储装置，该装置包括：

分区处理模块，用于元数据集群对目录进行分区处理，得到目录子树；

分配服务模块，用于为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务，作为子树信息；

元数据存储模块，用于将所述子树信息存储到以SSD盘为基础的元数据池。

可选的，还包括：更新模块，其中，所述更新模块包括：

更新获取单元，用于以日志的形式记录所述目录子树的变化，得到子树变化日志；

更新单元，用于当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

可选的，还包括：

数据存储模块，用于将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

本申请所提供的一种分布式文件系统子树存储方法，包括步骤：元数据集群对目录进行分区处理，得到目录子树；为每一个所述目录子树的信息和权限信息分配一个元数据服务，并保存作为子树信息；将所述子树信息存储到以SSD盘为基础的元数据池。

通过使用SSD盘作为存储元数据的磁盘，可以利用SSD的快速读取的特点，加快文件系统对元数据的操作性能。由于用户对文件的操作速度由元数据的操作速度决定，因此也提高整个文件系统的性能。本申请还提供一种分布式文件系统子树存储装置，具有上述有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。