[发明专利]分布式文件系统的元数据管理方法

说明书

技术领域

本发明涉及存储技术，特别是涉及一种分布式文件系统的元数据管理方法。

背景技术

在现有的分布式文件系统中，通常采用单个元数据服务器对元数据进行管理。但是随着文件数量的增长，单个元数据服务器已经难以满足大量客户端并发访问的需求。针对该情况，目前提出了在分布式文件系统中引入元数据服务器集群概念，即利用多个元数据服务器对元数据进行管理。

目前尚未公开一种在分布式文件系统中基于元数据服务器集群实现对元数据管理的技术方案。

发明内容

有鉴于此，本发明的主要目的在于提供一种分布式文件系统的元数据管理方法，该方法能满足大量客户端并发访问的需求。

为了达到上述目的，本发明提出的技术方案为：

一种分布式文件系统的元数据管理方法，该方法包括以下步骤：

a、分布式文件系统预先建立M个元数据集合，根据预设的第一哈希函数，采用哈希散列的方式将所述元数据集合分散设置在元数据服务集群中的各元数据服务器中。所述元数据服务器各自保存一份全局集合映射表，所述全局集合映射表用于记录本服务器中设置的各元数据集合与其包含的元数据的映射关系以及所有未设置在本服务器中的各元数据集合与其所属元数据服务器的映射关系；

b、当客户端向元数据服务集群中的一个元数据服务器S_1请求保存文件时，所述元数据服务器S_1为所述文件分配一个全局索引号，并根据该全局索引号，采用哈希散列的方式，确定所述文件的元数据所属的元数据集合W，以及该元数据存放在所述元数据集合W中的索引节点位置D，所述元数据服务器S_1根据自身保存的全局集合映射表确定所述元数据集合W所在的元数据服务器S_i，触发所述元数据服务器S_i将所述文件的元数据保存在所述元数据服务器S_i中。

综上所述，本发明提出的分布式文件系统的元数据管理方法，通过基于元数据服务器集群对元数据进行管理，并确保并发访问下元数据的一致性、集群的负载均衡，因此，能有效满足大量客户端并发访问的需求。

附图说明

图1为本发明实施例一的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明的核心思想是：基于元数据服务器集群对元数据进行管理，在存储元数据时，利用散列函数确定存储元数据文件的地址，确保集群的负载均衡；在进行元数据存储时，同时在其他服务器中存储相应的副本文件，在对元数据修改时对其副本也进行修改，在一服务器出现故障时通过一预设的用于协调的服务器进行故障的协调处理。如此，可以确保并发访问下元数据的一致性、完整性以及集群服务器的负载均衡。

图1为本发明实施例一的流程示意图，如图1所示，该实施例一主要包括以下步骤：

步骤101、分布式文件系统预先建立M个元数据集合，根据预设的第一哈希函数，采用哈希散列的方式将所述元数集合分散设置在元数据服务集群中的各元数据服务器中。

所述元数据(metadata)，是指文件或目录的元数据信息，包括文件的名字、大小、修改时间、读写权限、所有者等信息，对于具体的文件或目录来说，由索引节点(inode)保存这些元数据信息。这里，所述元数据服务器各自保存一全局集合映射表，所述全局集合映射表用于记录本服务器中设置的各元数据集合与其包含的元数据的映射关系，以及所有未设置在本服务器中的各元数据集合与其所属元数据服务器的映射关系。具体而言，全局集合映射表将保存文件的全局索引号到所属元数据集合的映射关系，具体地，以该全局集合映射表作为哈希表，以文件全局索引号的高H位作为散列函数的参数，查找该全局集合映射表可得到此文件元数据所属元数据集合的位置信息。

所述元数据集合(set)，是由许多文件的元数据组成的集合单元，集合中将保存集合的状态以及该集合的元数据映射表，该元数据映射表用于记录元数据集合中各文件的全局索引号与其索引节点位置的对应关系，具体地，以该元数据映射表为哈希表，以文件全局索引号的低L位作为散列函数的参数，查找该元数据映射表，即可得到该文件的元数据所在的索引节点的位置，在该索引节点的位置上将保存着文件的元数据。

本步骤中，通过哈希散列的方式，可以有效实现元数据集合在各元数据服务器上的均衡分布，有利于实现并发访问下集群的负载均衡。