[发明专利]一种应用于分布式文件系统的元数据分簇管理方法和模块

说明书

技术领域

本发明涉及一种应用于分布式文件系统的元数据分簇管理方法和模块，该方法应用于分布式文件系统的元数据服务器集群中，属于计算机科学与技术领域。

背景技术

随着云时代的到来，大数据也吸引了越来越多的关注，每天互联网上的数据以数亿的速度激增。这种数量级的数据量已经超出了一台计算机的处理能力，基于此，分布式文件系统技术被提出，它将元数据和数据分离，现有的分布式文件系统一般使用多台数据服务器存储具体数据，使用一台元数据服务器将数据的元数据信息（包括名字、大小、储存位置等）储存在内存中。由于用户每次访问文件之前，都要先向元数据服务器请求获取该文件的元数据，并发访问量巨大；同时随着元数据的激增，元数据服务器内存容量有限，这两方面的限制都导致单台元数据服务器将成为分布式文件系统的瓶颈。基于此，需要将单元数据服务器扩展成为一个元数据服务器集群，然而，对服务器集群中存储的元数据（服务器集群元数据）进行统一管理是一个挑战性的问题。

在服务器集群元数据管理方面，哈希和目录子树分割是分布式文件系统中管理元数据的两个常用方法。

哈希方法是以文件目录、名字或者其他相关属性值为键值，通过哈希函数计算相应的哈希值，然后建立哈希值与元数据存储的服务器映射表。哈希方法的优点是容易实现负载均衡，也支持高度并发访问，但是这种方法的缺点是很难将所有目录和文件组织成完整的层级结构展示给用户，增加了某些操作（如：获取一个目录的所有子目录）的实现难度，并且当增加或者减少元数据服务器时，哈希值随之改变，所有的元数据需要重新分布，这将造成大量元数据迁移，从而增大系统开销。

目录子树分割方法是按照目录树划分为一棵棵目录子树，然后将目录子树分配到元数据服务器上存储，每台元数据服务器管理一棵或者多棵目录子树。目录子树分割方法简单易懂，由于目录树可以任意被拆分，因此元数据易于被分割到不同的服务器中存储。目录子树分割方法可以很容易地将所有子树组合成完整的目录树，以层级结构展示给用户，但是目录子树分割方法的缺点是在实现过程中不易于实现元数据存储的负载均衡。

为了解决上述方法在管理上的缺点，本专利提出一种应用于分布式文件系统的元数据分簇管理方法和模块，不仅保留了传统的目录子树分割简单易行、易于扩展的优点，还保证了其在应用过程中的负载均衡。

发明内容

依据当前的技术背景和条件，并针对分布式文件系统中元数据扩展的特点和要求，本发明提出一种应用于分布式文件系统的元数据分簇管理方法和模块。本发明采用的技术方案如下：

一、本发明结构

为了提高元数据存取速度，提升元数据存储容量，使用本发明的分布式文件系统采用多台服务器（元数据服务器集群）存储元数据（一棵元数据目录树），每台元数据服务器存储由元数据目录树分割出的一棵或多棵元数据目录子树；使用一台服务器（簇服务器）统一管理元数据服务器集群上存储的元数据目录子树。本发明提出“簇”的概念，元数据目录树被分割为一棵棵元数据目录子树，每棵目录子树称为一个簇。

本发明由两大模块组成，如图1所示，分别为簇服务器和元数据服务器。簇服务器包括簇编号计数器、元数据服务器簇数管理表和簇映射关系表三个模块。元数据服务器包括元数据模块和目录计数表模块。

使用本发明的分布式文件系统元数据的分簇管理原理如图2所示。元数据目录树被分割为几棵元数据目录子树，这些元数据目录子树被随机存储在几台元数据服务器上。簇服务器通过簇编号计数器、元数据服务器簇数管理表和簇映射关系表三个模块对存储在不同元数据服务器上的元数据目录子树进行统一管理。

下面从模块的具体作用和工作流程来进一步对本发明进行说明。

二、本发明模块作用

在使用本发明的分布式文件系统中，每个元数据使用簇编号+文件编号作为其在整个文件系统中的唯一标识，其中簇编号（zone ID）是簇服务器为每棵子树分配的全局编号，文件编号（inode ID）是每个元数据服务器为存在于自己内存中的元数据分配的编号。

下面介绍各模块的具体功能。

簇服务器各模块功能如下：

簇编号计数器负责记录已使用的簇编号，在元数据服务器申请新簇时向元数据服务器派发簇编号，以避免出现簇编号重复。

元数据服务器簇数管理表负责统计每台元数据服务器上有多少个簇。当簇数目达到阈值时，簇服务器模块要另选一台元数据服务器建立新簇。