[发明专利]一种分布式文件系统动态元数据管理方法及系统

说明书

技术领域

本发明涉及一种分布式文件系统动态元数据管理方法及系统，属于分布式存储系统体系结构技术领域。

背景技术

现有的分布式文件系统通常包括两个部分：元数据服务器和智能存储节点。元数据服务器负责处理元数据相关的请求和权限管理。元数据服务器的设计从系统架构上可以分为两类：集中式和分布式。对于多元数据服务器架构，元数据在这些服务器上的组织和划分是决定元数据服务性能和扩展性的重要因素。现有的多元数据服务器一般采用三种方式来组织元数据。

静态子树划分：该方法将不同的目录子树固定地划分到不同的元数据服务器进行处理。由于元数据服务器间维护的目录子树没有交叉性，可以方便的进行扩展和一致性的维护，但不能根据负载变化来对动态调整元数据的分布，也无法处理热点目录的访问问题。

基于hash的划分：该方法根据文件路径将文件的元数据划归到相应的元数据服务器进行管理。通过精心设计的hash函数，系统的请求被均匀分散到各元数据服务器上。另外，因为同一目录下的文件可能被hash到不同的元数据服务器，所以对某一目录下文件的反复操作不会造成单个元数据服务器的性能瓶颈。但hash方法在扩展性和利用文件数据的局部性方面还有许多问题，当元数据服务器数量变化时，为了保证元数据的均匀分布，将涉及到大量的元数据的迁移。由于同一目录下的文件元数据分布在不同地方，文件局部性也不能得到充分的利用，对于热点文件的访问同样无法良好应对。

动态子树划分：该方法将不同的目录子树划分到不同的元数据服务器进行维护，但元数据是保存在共享的存储空间中，元数据服务器仅缓存划分到其上的目录子树信息，并对其进行维护。目录子树在元数据服务器上的划分不是固定的，可以根据需要动态调整元数据服务器缓存的目录子树的内容。当元数据服务器数量发生变化时，需要迁移的数据只是缓存的内容，极大地减少了传输的数据量，通过迁移亦可以方便的进行负载均衡。故动态子树划分方法对系统的性能和扩展性都有很大的提高。但由于对某一文件的请求仍是全部集中到同一台服务器，故现有的动态子树划分算法对热点文件的访问问题仍不能良好应对。

因此，在现有的元数据管理方法中存在不能根据负载变化来对动态调整元数据的分布、不能对元数据服务器平滑扩展、无法处理热点目录的访问、不能良好应对单个热点文件的访问的问题。

发明内容

本发明提供了一种分布式文件系统动态元数据管理方法及系统，以解决在现有的元数据管理方法中存在不能根据负载变化来对动态调整元数据的分布、不能对元数据服务器平滑扩展、无法处理热点目录的访问、不能良好应对单个热点文件的访问的问题。

一种分布式文件系统动态元数据管理方法，包括：

A.元数据服务器根据元数据的访问情况对元数据在各元数据服务器上的分布进行动态划分；

B.元数据服务器根据客户端的操作请求，对元数据进行管理。

所述步骤A还进一步包括：

元数据服务器定时更新并向班长元数据服务器上报当前元数据服务器的整体负载信息；

班长元数据服务器根据接收到的负载信息，向负载大于全局平均负载的过载元数据服务器发送转移请求；

过载元数据服务器根据所述转移请求，将预定数量的负载量发送给轻载元数据服务器；

轻载元数据服务器接收目录子树，并在接收完成后向过载元数据服务器发送接收完成的确认信息；

过载元数据服务器根据所述接收完成的确认信息删除相应的目录子树并更新所述目录子树的祖先节点的负载信息。

所述步骤B还进一步包括：

客户端将待创建、待读取或待删除的目录信息，以及待创建、待打开、待关闭、待删除或待重命名的文件信息发送给通过预定的选择函数确定的元数据服务器；

元数据服务器根据待创建、待读取或待删除的目录信息，以及待创建、待打开、待关闭、待删除或待重命名的文件信息在缓存中创建所述待创建的目录信息、读取缓存中的所述待读取的目录信息、从缓存中删除所述待删除的目录信息、以及在缓存中创建所述待创建的文件信息、打开所述待打开的文件信息、关闭所述待关闭的文件信息、从缓存中删除所述待删除的文件信息、在缓存中创建所述待重命名文件的新路径信息并删除所述待重命名文件的旧的路径信息，并返回操作结果；

客户端根据接收到的操作结果更新缓存，并向用户返回结果。

一种分布式文件系统动态元数据管理系统，包括：

元数据服务器，用于定时更新并向班长元数据服务器上报当前元数据服务器的整体负载信息；

班长元数据服务器，用于根据接收到的负载信息，向负载大于全局平均负载的过载元数据服务器发送转移请求；