[发明专利]一种分布式文件系统的元数据组织管理方法和系统

说明书

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种分布式文件系统的元数据组织管理方法和系统。

背景技术

随着数据信息的不断膨胀，以及非结构化数据在各行各业中的广泛应用，分布式文件系统为非结构数据的存储管理提供了一个非常理想的解决方案。当前大多数分布式文件系统通常采用将元数据与数据单独处理，即将控制流与数据流进行分离，从而获得更好的系统扩展性以及IO并发性。此策略下的系统主要由元数据服务器MDS（Meta Data Server）、数据存储服务器和客户端三方架构组成，其中MDS主要负责存放文件命名空间，响应服务请求，提供文件存储位置等元数据信息。在文件系统中，元数据的存储空间在整个文件系统中通常不到10%，但统计表明，元数据在整个分布式文件系统中访问比重高达50%到80%。因此高效的元数据架构管理对实现存储系统的高性能和高可伸缩性至关重要，是系统评价和优化的一个重要部分。

在目前分布式文件系统典型的三方架构中，如著名的GFS，HDFS，Luster等，均提供一个中央元数据服务器负责元数据的存储和客户端查询请求，为整个分布式文件系统提供元数据服务。但现有的分布式文件系统的MDS在处理成千上万的客户端请求时，对于元数据操作密集的情况，往往出现访问时间延长，处理效率降低甚至崩溃等问题。另外，现今的互联网应用，往往读请求较多，写请求较少，而传统的分布式文件系统对这种情况并没有采用特殊的应对方式。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种在分布式文件系统元数据服务器中，区分元数据读写请求，并采用写时拷贝的B+树组织管理元数据的元数据组织管理方法，其目的在于为客户端提供目录式操作，分离客户端对B+树的读写操作，由此解决现有元数据读写高并发操作在MDS上造成的元数据处理性能低下的技术问题，提高元数据服务器的处理能力。

为实现上述目的，按照本发明的一个方面，提供了一种分布式文件系统的元数据组织管理方法，包括以下步骤：

（1）接收来自客户端的元数据请求消息包，并对该元数据请求消息包内容进行解析，根据解析得到的元数据请求消息包的类别将该元数据请求消息包放入对应的消息队列；

（2）从消息队列中提取元数据请求消息包，并对该元数据请求消息包进行解析，以获得该元数据请求消息包的请求类型和请求内容；

（3）根据元数据请求消息包获取B+树中存放的元数据信息，并对该元数据信息进行相应的读写操作；具体而言，B+树中节点类型主要包括叶子节点和非叶子节点，元数据信息均存储于叶子节点中，对元数据信息的读写操作，即为对叶子节点中所存储信息的读写操作；

（4）将读写操作后的结果放入元数据请求响应消息包中，并返回给客户端。元数据请求响应消息包具体包括客户端和MDS的连接信息、元数据请求消息包的请求类型，元数据请求消息包的请求结果、以及元数据请求消息包的请求内容。

优选地，还包括在步骤（1）之前，初始化元数据服务器的读写线程和消息队列，并创建仅有根节点的B+树的步骤。

优选地，初始化元数据服务器的读写线程和消息队列，并创建仅有根节点的B+树具体包括以下子步骤：

初始化元数据服务器的读写线程的参数，包括读写线程的启动时间、读写线程结束后需进行的善后操作、以及读写线程运行中所触发的回调函数，其中元数据服务器的读线程数大于等于1，写线程数仅为1；

初始化元数据服务器的消息队列及其参数；

创建并初始化一棵仅有根节点的B+树。

优选地，初始化元数据服务器的消息队列及其参数是将读消息队列与若干读线程进行绑定，将写消息队列与唯一的写线程进行绑定，其中参数包括消息队列的最大长度L、超时时长T、以及存储数据的格式，存储数据的格式被设置为消息包类别，创建并初始化一棵仅有根节点的B+树是将该B+树的全部节点均存放于内存中，B+树中被初始化的内容包括B+树中节点所能拥有的最大节点数、节点编号增长方式、节点查询方式以及元数据存放方式。

优选地，步骤（1）具体包括以下子步骤：

（1-1）接收来自客户端的元数据请求消息包；

（1-2）解析元数据请求消息包的内容，根据解析的内容区别该元数据请求消息包为读操作还是写操作；

（1-3）将区分后的元数据请求消息包放入相应的消息队列，即将读操作消息包放入读消息队列，将写操作消息包放入写消息队列，然后进入步骤（3）。