[发明专利]确定垃圾收集器线程数量及活动管理的方法及设备

说明书

本发明提出一种日志式文件系统中卷的垃圾收集方法，其中所述卷包括多个片段。所述多个片段中的每个片段包括多个块。所述方法包括：确定所述片段中的每个片段的无效块数；使用所述无效块数作为垃圾收集队列中片段排序的索引；确定所述索引的多个范围区域；确定每个范围区域的迁移率，给定范围区域的迁移率反映了片段迁移进/出范围区域的强度，负迁移率反映片段迁移进所述给定范围区域；及基于所述迁移率进行垃圾收集。

技术领域

本发明涉及日志式文件系统中的垃圾收集，尤其涉及日志式文件系统中确定垃圾收集器线程数量及活动管理的方法及设备。

背景技术

日志式文件系统(log-structured file system，LFS)的基本思想是将一个文件系统变化序列缓冲到文件缓存中，再将所有的变化通过单个磁盘写入操作依次写入磁盘，从而提高写入性能。通过写入操作写入磁盘的信息包括文件数据块，属性，索引块，目录及几乎所有用于管理文件系统的其它信息。日志式文件系统将所有新信息以有序的结构写入磁盘，该有序的结构称为日志。

日志式文件系统使用被称为inode映射表的数据结构来维护每个inode的当前位置。若给定文件识别号，则inode映射表必须被索引以确定inode的磁盘地址。inode映射表被划分为被写入日志的块；每个磁盘上的固定检查点区域标识了所有inode映射表块的位置。日志式文件系统不将inode放置在固定位置；inode被写入日志。

可参见图1，尤其示出了日志式文件系统磁盘布局10。

日志式文件系统最困难的设计问题是空闲空间的管理。目的是维护用于新数据的写入的大空闲范围。起初所有的空闲空间都在磁盘上单一的范围内，但随着日志到达磁盘末段，空闲空间将被分为许多与被删除或者覆盖的文件对应的小范围。

鉴于此，文件系统有两个选择：线程或复制。第一个选择是保持实时数据在原位并通过空闲范围对日志进行线程。然而，线程会引起空闲空间严重分裂。第二个选择是将实时数据从日志中复制出来，从而留出用于写入的大空闲范围。实时数据以紧密的形式写回日志头。复制的不足之处在于其成本，尤其对长期文件而言成本更高。

图2示出了上述提及的两种选择。左侧示出了线程前后的日志20，右侧示出了复制及压缩前后的日志21。

为了使日志式文件系统高效运行，必须确保始终有大范围的空闲空间用于新数据的写入。一方面，对应地，LFS方法是将大空闲区域维持在磁盘上，从而加速写入过程。为了维持大空闲区域，将日志分为片段，运用片段清理器从严重分裂的片段中压缩实时信息，从而释放用于后续写入操作的片段。

使用LFS过程中出现的问题涉及片段清理，在本文也被称作垃圾收集(garbagecollection，GC)。更明确而言，填充磁盘时，GC需要越来越多的磁盘活动，从而减少磁盘用于业务系统请求的时间。

片段清理垃圾收集GC涉及在片段中复制实时数据的过程。在LFS中，这是一个简单的过程，包括三个步骤：读取多个片段到内存中，识别实时数据，将实时数据写回到更少数量的干净片段。该操作完成后，被读取的片段被标为干净，并且可用于新数据或用于额外清理。

对应地，垃圾收集的目的是维护用于新数据的写入的大空闲范围。起初所有的空闲空间都在磁盘上单一的范围，但随着日志到达磁盘末段，空闲空间将被分为许多与被删除或者覆盖的文件对应的小范围。

随着存储尺寸的增大，传统的垃圾收集方法负担过重。目前为止对卷进行全部重组还需要很长时间。

因此，高效的GC策略应该在考虑主要文件系统运行的I/O负载的同时定义GC线程数量及GC线程活动强度。