[发明专利]一种基于共享对象存储的文件系统元数据日志机制

说明书

 

技术领域

本发明涉及计算机存储领域, 具体地说是一种基于共享对象存储的文件系统元数据日志机制。

背景技术

随着网络应用的迅速发展，网络信息数据量越来越大，PB 级别的海量数据存储变得越来越重要。传统意义的文件系统已不能满足现有应用的大容量、高可靠性、高性能等要求，为满足这些新要求，分布式文件系统应用得到了广泛重视。

现有分布式文件系统的研究主要分为元数据与实际数据存储分开管理，文件系统中元数据请求占据所有请求的50%以上，因此，元数据管理问题成为分布式文件系统研究中的一个重要研究方向。

元数据操作模式主要大量的随机IO操作，而目前的主要存储设备——机械硬盘，其随机IO操作相对于顺序IO来说，性能存在较大差距。这主要因为机械磁盘在处理随机IO时，进行执行大量的寻道操作，而寻道操作是机械操作，相对于电子操作来说耗时较长。针对这种情况，元数据日志机制能够较大程度的提供元数据的性能。

元数据日志机制的主要思路是将随机写操作转换为顺序写操作。在该机制中，元数据的更新过程被分为三个步骤：（1）将元数据操作以日志条目的形式顺序的写入元数据日志；（2）更新元数据缓存；（3）将缓存中的脏数据异步的更新到元数据的数据区域。在该过程中，当第二个过程完成后，即可以向客户端报告元数据请求已经执行完成。而第三步可以在适当的时机，例如系统压力较轻的时候异步的执行。由于第一个步骤是数据的顺序写入过程，因此，该方法相对于直接更新元数据具有更快的响应速度，能够显著地提高元数据操作的效率。

但是传统的元数据日志通常使用本地磁盘或文件，因此存在以下问题：1）元数据日志的大小受本地磁盘空间的限制。在集群存储中，相对于整个系统的可用空间来说，本地磁盘所能提供的空间极为有限。因此通常需要采用循环控制机制，将日志规模控制在一定的范围内；2）本地磁盘不具备容灾能力。如果需要支持本地磁盘的容灾，则需要提供额外的RAID等容灾设备，而且这些设备大多不具备跨节点的容灾能力。

目前的分布式存储系统逐渐过渡到对象存储协议，即整个数据集群以对象作为数据的组织方式，所以急需一种新的元数据日志管理方式。

发明内容

    本发明提供了一种基于共享对象存储的文件系统元数据日志机制，将文件系统中的元数据日志统一保存在一个对象存储系统中，该机制主要包括以下模块：对象存储访问器、元数据日志访问器、元数据日志管理器；

    对象存储访问器，该模块负责实现对象存储系统的访问，包括对对象的读、写、删除等操作的支持；

    元数据日志访问器，该模块在对象存储访问器的基础上，将对象操作包装为日志操作，即提供一个虚拟的日志文件，该日志文件没有长度限制，并且支持追加读取、追加写入和截断操作；

    元数据日志管理器，该模块负责管理元数据日志，包括在系统启动和恢复过程中执行日志的重放，系统运行过程中执行日志的截断操作；

    执行步骤如下：

（1）构造元数据日志条目，

（2）提交元数据条目到元数据日志管理器，

（3）元数据日志管理器提交日志条目到元数据日志访问器，

（4）元数据日志访问器通过对象存储访问器将日志写入到集群存储中，

（5）对象存储访问器完成写入操作后，向元数据日志访问器报告写入完成，

（6）元数据日志访问器向元数据日志管理器报告写入完成，

（7）元数据日志管理器向元数据服务器报告写入完成，

（8）元数据服务器更新内存缓存。

（9）元数据服务器向客户端报告元数据请求完成。

    所述的日志机制，其元数据日志管理器定时触发日志的截断流程。

所述的日志机制，其当主元数据服务器发生宕机后，监控模块通知备份元数据服务器接管服务。

能够支持元数据服务器集群模式和元数据服务器热备模式。在元数据服务器集群模式中，不同元数据服务器根据其服务器ID对应不同的日志对象组；在元数据服务器热备模式中，主备服务器共享同一个日志对象组，正常状态下，主服务器具有日志对象组的写权限，主备切换时，备份服务器取得日志对象组的写权限。

本发明的有益效果是：能够实现超长元数据日志的存储，日志的大小仅受对象存储系统的容量限制。另一方面，元数据日志可以持续使用追加写入的模式，不需要循环控制，降低了系统的复杂度，支持元数据服务器集群模式和元数据服务器热备模式。

附图说明