[发明专利]并行文件系统的元数据文件布局管理方法

说明书

技术领域

并行文件系统的元数据文件布局管理方法属于文件系统领域，尤其涉及其中的元数据管理领域。

背景技术

随着信息技术的飞速发展，人们要处理的数据量不断增加，造成了对存储系统容量和性能的巨大需求，传统的存储方式已经无法满足用户的需要。一般情况下，每台主机都带有自己的存储设备，这使得信息分散在各个主机上，形成信息孤岛，不利于信息整合。网络存储可以提供共享的信息存取服务，并具有超大容量和优秀的性能，因此成为存储系统发展的趋势。存储区域网络(StorageArea Network，SAN)是一种专门的存储网络，它可以把各种存储设备连接在一起，组成统一管理的存储资源，而主机可以通过光纤或IP网络来访问这些资源。在这种存储体系结构中，资源的配置是不断变化的，新的设备可以不断地加入到系统中，以满足用户对存储容量或性能的需求。

传统的分布式文件系统如NFS、AFS等已经无法满足大规模网络存储系统的高可扩展性要求；基于对象的文件系统如Lustre、PanFS等不能满足SAN应用环境；近来出现的SAN文件系统，如GPFS等，其空间管理采用基于块的分配方式。实验证明基于扩展块(extent)的分配方式较基于块的分配方式，减少了磁盘寻道时间，有利于将一大批数据一次性写到存储设备中的连续位置，缩短写数据的时间。采用基于扩展块分配方式的并行文件系统在读取文件的时候有很好的性能，因为文件块都是成组连续分配的。若并行文件系统采用基于扩展块的分配方式，服务器如何将文件布局(layout)划分为扩展块的集合，为SAN 环境下的应用提供灵活的、高效的服务，同时满足多用户对同一文件的并行操作，是本发明需要解决的重要问题。

发明内容

本发明的目的是将并行文件系统中基于扩展块的文件布局划分为扩展块集合，对用户请求做出合理响应，并向磁盘空间管理模块请求分配或释放相应的空间。

本发明的特征在于，所述方法是在由客户机、元数据服务器和存储设备构成的并行文件系统中依次按以下步骤完成的：

步骤(1)在所述系统中的元数据服务器之上加载一个文件布局管理模块：

所述文件布局管理模块含有的数据结构为：

blocklayout_extent：记录文件的扩展块的属性，包括长度、状态、在文件中的起始位置、所属磁盘的ID及在磁盘中的起始位置，其中状态可能有读写、读、无效、空四种，

allocator_segment：记录向磁盘空间管理模块申请的文件的扩展块的属性，包括长度、在文件中的起始位置、所属磁盘的ID及在磁盘中的起始位置，

bes_node：记录文件的扩展块，包含blocklayout_extent结构，作为节点加入文件扩展块链表，

blocklayout_layout：记录文件的扩展块的节点的总数，同时作为文件扩展链表的表头，

所述文件布局的数据结构组织方式为：所述blocklayout_layout作为链表头，所述bes_node作为链表节点的双向链表，该bes_node中的blocklayout_extent是所述文件的扩展块，所述文件的所有扩展块组成所述的文件布局的逻辑结构，

所述文件布局管理模块设有与用户请求处理模块的接口，以及与磁盘空间管理模块的接口，其中：

与用户请求处理模块的接口，有下述三个：

layout_get：用于获取文件的布局，来自所述用户请求处理模块的请求输入参数包括指定文件的索引节点inode及所述指定文件的起始位置和长度，经过所述文件布局管理模块处理后，向所述用户请求处理模块返回对应于所述起始位置和长度的文件的扩展块集合，

layout_commit：用于提交文件的布局，来自所述用户请求处理模块的请求输入参数包括指定文件的索引节点inode及提交给所述指定文件的扩展块的集合，经过所述文件布局管理模块处理后，向所述用户请求处理模块返回所述文件的布局提交是否成功的标志，

layout_adjust：用于调整文件的布局，来自所述用户请求处理模块的请求输入参数包括指定文件的索引节点inode及所述指定文件的大小，经过文件布局管理模块处理后，向所述用户请求处理模块返回所述文件的布局按照指定大小修改是否成功的标志，

与磁盘空间管理模块的接口，有下述两个：