[发明专利]一种组织和访问元数据文件日志的方法

说明书

技术领域

本发明涉及分布式文件系统中的日志管理，具体来说，涉及一种组织和访问基于本地文件系统实现的分布式文件系统中的元数据日志方法。 

背景技术

随着计算机技术的快速发展，网络、科学计算等领域对存储的要求越来越高，于是分布式文件系统渐渐被引入到这些领域，以满足这些领域的存储需要。考虑到实现的复杂性，许多分布式文件采用了基于本地文件系统的实现方式。 

在分布式文件系统中，元数据维护着所有的目录和文件等重要信息，因此，其可靠性非常重要。为了提高其可靠性，许多的分布式文件系统采用了日志系统来提高可靠性。 

这种基于本地文件系统的日志系统，所有的日志均是本地文件系统中的一个普通文件。为了进行可靠性操作，需要多次.反复的打开文件和写入文件。由于每一次打开文件都需要进行一次系统调用，因此，带来的时间开销非常大；同时，由于写入文件并不能真正写入磁盘，而必须进行sync(同步)，而这种操作本身的时间开销非常大。这些问题都将显著的降低日志系统的性能。 

红黑树是一种自平衡二叉查找树，它的操作有着良好的最坏情 况运行时间，并且在实践中是高效的：它可以在O(log n)时间内做查找，插入和删除，这里的n是树中元素的数目。 

发明内容

本发明旨在公开一种组织和访问基于本地文件系统实现的分布式文件系统中的元数据日志方法。目的是提高分布式文件系统中日志系统的性能。 

一种组织和访问元数据文件日志的方法， 

使用红黑树组织日志系统的一致性操作所涉及到所有文件，选取日志文件的文件名作红黑树的关键字。 

优选的，当日志系统打开未打开过的一个文件时，即在红黑树上申请一个节点，并将该文件的文件描述符号记录到该节点上。 

优选的，所述日志系统操作时，首先在红黑树上进行查询，若查到该文件，则直接使用已有的节点上的文件描述符；否则，继续加入到该红黑树中。 

优选的，所述文件打开的数量如果超过系统的上限，则选取部分的红黑树节点进行回收。 

优选的，所述回收的方法是，记录所有的文件的最近访问时间，并形成一个LRU队列，该队列按照最近访问的时间进行排序，每次回收时，先回收最久未访问的文件。 

优选的，将所述文件系统对同一文件的操作进行链接，挂入对应的红黑树节点上，当将内存修改数据同步到磁盘时，以文件为单 位同步到磁盘。 

优选的，所述文件的操作在挂入红黑树后，由内核中的回刷线程将数据写入磁盘。 

本发明通过引入红黑树管理可靠性操作涉及到的文件，减少了可靠性操作中的文件操作次数，提高了可靠性操作的性能。同时，将多个元数据操作写入磁盘的操作进行了聚合管理，极大的减少了文件的sync操作，降低了可靠性操作的处理时间。 

具体实施方式

发明中的技术方案具体描述如下： 

(1)使用红黑树组织日志系统的一致性操作所涉及到所有文件，选取日志文件的文件名作红黑树的关键字，当日志系统打开未打开过的一个文件时，为红黑树申请一个节点，并将该文件对应的文件描述符号记录到该节点上，后续日志系统操作，首先要在红黑树上进行查询，若查到该文件，则直接使用已有的节点上的文件描述符，否则，继续加入到该红黑树中。 

若打开的文件已经超过系统的上限，则选取部分的红黑树节点进行回收。回收的方法是，记录所有的文件的最近访问时间，并形成一个LRU队列，该队列按照最近访问的时间进行排序，每次回收时，先回收最久未访问的文件，这样使得打开的次数达到最低，提高了日志系统的性能。 

(2)由于元数据操作具有关联性，许多的日志操作可能是针 对同一个文件进行，因此，本发明将所有针对同一文件的操作进行链接，挂入对应的红黑树节点上，当修改的数据同步到磁盘时，以文件为单位，而不是以操作为单位，极大的降低的同步的次数，提高了日志系统的性能。 

同时，由于底层的文件系统有后台写入磁盘线程，即pdflush线程，该线程会每隔一段时间(一般为30s)，在后台将数据刷入磁盘。因此，将同步操作聚合后，进行同步的时间间隔变大，使得可以充分利用后台的pdflush的写入磁盘能力，进一步提高了日志系统的写入性能，最终加快了日志系统处理元数据操作。