[发明专利]一种基于目录切分机制的元数据性能提升方法

说明书

技术领域

本发明涉及单目录元数据IO性能提升技术领域，尤其涉及一种基于目录切分机制的元数据性能提升方法。

背景技术

在分布式文件系统实际应用中，会遇到在海量小文件的应用场景。单目录下海量小文件IO性能很大部分取决于元数据性能，由于单目录对应一个元数据服务，因此会出现元数据性能瓶颈。为了解决单目录元数据性能，需要提升单目录的元数据并发性能。单纯的提升单个元数据服务的性能，需要优化元数据路径，这种方式也就能带来10％到50％的元数据提升。

因此，对于本领域技术人员而言，如何提升单目录元数据性能为亟需解决的技术问题。

发明内容

为了便于理解，对本申请文件中出现的部分词语，澄清如下：

IO：input/output，输入/输出。

基于背景技术存在的技术问题，本发明提出了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：

将目录切分为若干目录分片；

将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。

优选地，元数据服务与目录分片数量相等，且元数据服务与目录分片一一对应。

优选地，包括以下步骤：将任一目录分片对应一块或多块磁盘。

优选地，包括以下步骤：将不同节点与目录分片对应。

优选地，采用哈希的方式将不同节点与目录分片对应。

本发明中提供的一种基于目录切分机制的元数据性能提升方法，通过将目录切分为若干目录分片，一个目录分片对应一个元数据服务，从而使得单目录使用多个多数据服务进行IO；进一步地，一个目录分片对应一个或多个磁盘，使得单目录写入单个磁盘的方式变成写入多个磁盘的方式，实现了元数据存储的并发；上述方法至少具有以下优点：

通过将单目录切分为若干目录分片，将单目录使用一个元数据服务的IO模式转变为使用多个元数据服务的IO模式，大幅度提升单目录元数据并发性能。

将单目录切分为若干目录分片后，可以将其中若干目录分片进一步切分，本发明还提供了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：

将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i-1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；

任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N。

优选地，包括以下步骤：若第h目录分片具有对应的元数据服务，则为其分片一块或多块磁盘进行对应。

上述基于目录切分机制的元数据性能提升方法的有益效果与第一种基于目录切分机制的元数据性能提升方法中有益效果类似，此处不再赘述。

附图说明

图1为本发明提出的一种基于目录切分机制的元数据性能提升方法中一种实施例的流程示意图；

图2为本发明提出的一种基于目录切分机制的元数据性能提升方法中一种实施例所形成系统的系统拓扑图。

具体实施方式

如图1-2所示，图1为本发明提出的一种基于目录切分机制的元数据性能提升方法中一种实施例的流程示意图；图2为本发明提出的一种分布式文件系统中一种实施例的系统拓扑图。

下面结合附图和实施例对本发明进行详细的描述。

参考图1，一种基于目录切分机制的元数据性能提升方法，包括以下步骤：

将目录切分为若干目录分片；

将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务且元数据服务与目录分片一一对应；

将任一目录分片对应一块或多块磁盘；

采用哈希的方式将不同节点与目录分片对应。

在上述实施例中，我们可以获知，实施例采用的基于目录切分机制的元数据性能提升方法，通过将目录切分为若干目录分片，一个目录分片对应一个元数据服务，从而使得单目录使用多个多数据服务进行IO；进一步地，一个目录分片对应一个或多个磁盘，使得单目录写入单个磁盘的方式变成写入多个磁盘的方式，实现了元数据存储的并发，形成的系统拓扑结构可参考图2；当客户端在目录下发送创建、查看、删除等文件操作请求时，可以依据所指定的文件将请求哈希到对应目录分片下，并将请求进一步发送至该目录分片对应的元数据服务商，由该元数据服务来响应操作。