[发明专利]一种应用于随机存取的元数据管理方法及模块

说明书

技术领域

本发明涉及一种应用于随机存取的元数据管理方法及模块，该方法应用于分布式文件系统的元数据服务器集群管理及其元数据管理上，属于计算机科学与技术领域。

背景技术

近些年来，随着互联网的高速发展，每天都会产生数以亿计的数据量，分布式文件系统逐渐成为大规模数据存储的首要选择。在分布式存储架构中，为了更有效地管理元数据和文件数据，通常把元数据的处理和文件数据的访问分离开来，由元数据服务器管理文件系统命名空间和文件各种属性，并负责向客户端提供文件访问权限和文件存储位置等信息，同时由数据服务器负责存储文件，并直接处理客户端对文件数据的各种读写请求。这样分离之后，就可以利用分布式文件系统的访问特性，具体针对系统瓶颈进行优化，而最近的研究显示，文件系统中50%-80%的访问操作对象都是元数据，而不是数量较大的文件数据，因此，元数据的管理策略对于系统性能具有至关重要的影响。

元数据的管理策略大概可以分为两类：子树分割和哈希方法。其中子树分割策略把分布式文件系统的全局命名空间和目录层次按照一定策略分割成多棵子树，每棵子树都分布到元数据服务器集群中的一台特定的元数据服务器中，但每台元数据服务器中可能维护有一棵或多棵子树；而哈希方法采用哈希函数来建立元数据存储索引，意味着元数据管理系统利用每个文件和目录的某个特征（名称、路径名等）来计算哈希值，并根据这些哈希值把对应的文件或目录分布到某台元数据服务器中存储。子树分割方法在80至90年代的分布式文件系统中使用比较广泛，如美国Sun公司的Network File System（NFS）和卡内基梅隆大学的Andrew File System（AFS）都是采用的这种元数据管理策略。子树分割方法非常接近人们的直观思维，实现起来较为简单，但缺点也较多，如权限验证耗时长，不能动态均衡负载等。

2004年，Lustre分布式文件系统通过普通的哈希函数计算文件的上级目录名的哈希值，把该哈希值作为元数据存储索引值，而90年代末期的VESTA分布式文件系统和RAMA分布式文件系统通过普通的哈希函数直接计算文件的全路径名称的哈希值作为元数据存储的索引值，这两种元数据管理系统虽用不同的唯一标志来计算哈希值，但都属于哈希策略。此类策略具有明显的优点，元数据在元数据服务器集群中存储均匀，存取负载分布均衡，且支持高并发存取，但同时缺点也是明显的，当客户端对文件目录进行重命名操作时，元数据服务器需要迁移元数据，当客户端访问文件或目录时，文件系统要对该文件或目录的上级目录进行权限认证，而上级目录可能存放在其他元数据服务器上，所以元数据服务器之间要频繁地通信以确保用户具有对文件或目录的访问权限。

发明内容

本发明“一种应用于随机存取的元数据管理方法及模块”由三个模块组成，如图1所示，分别是传统哈希策略模块、名字映射模块和目录结构模块，下面从各模块的功能、具体实现以及模块的执行流程来对本发明做详细说明。

（1）本发明各模块的功能

●传统哈希策略模块：该发明的基础模块，它由一个哈希函数组成，该模块的功能是运用哈希函数对文件或目录的全路径计算哈希值，然后根据计算得到的哈希值确定存放文件或目录的元数据的位置。

●名字映射模块：该发明的特色模块，它由全路径分解和名字映射表两部分组成，所谓全路径分解就是把文件或目录的全路径名分解成一个个单独的目录名和文件名，而名字映射表记载了文件或目录的原始名和重命名的对应关系。该模块的功能是完成文件或目录的重命名到原始名的转换。

●目录结构模块：该发明的关键模块，它由结构化编码，目录结构及权限查询表以及权限认证三部分组成。结构化编码是指对文件或目录的全路径名等信息进行编码；目录及权限查询表记录了文件与目录、目录与目录之间的关联信息以及用户对它们的访问权限；权限认证是指判断用户对某个文件或目录是否具有访问的权限。

该发明的三个模块各自具有各自的功能。传统哈希策略模块提供了高效的元数据访问方法，名字映射模块利用名字映射避免了在文件或目录名字改变时迁移大量元数据，目录结构模块提供了目录与目录、目录与文件的元数据之间的关联信息，避免了元数据服务器在交换元数据信息时的频繁通信。具体功能如下：

（2）本发明中各模块功能的具体实现

本发明中的每个模块功能的实现是依赖于每个模块中各组成部分的实现方法，具体介绍如下：

●传统哈希策略模块的在实现上，是由一个哈希函数对文件或目录的全路径名计算哈希值。