[发明专利]一种文件系统stride访问模式的预读方法

说明书

技术领域

本涉及对特定应用的访问模式跨步读模式(stride模式)设计的预读算法，具体来说，涉及一种文件系统stride访问模式的预读方法。 

背景技术

预读是把预测将要访问的数据按页提前批量加载到内存中，这有助于IO的顺序化，异步化和并行化，有助于改善文件系统的读性能。异步读取有助于对上层应用隐藏IO延迟，这在网络文件服务中可以有效提高IO效率；对于科学计算和工程计算等应用中，一般计算和IO交替进行，预取可以提高计算和IO的并行。 

目前预读算法主要分两种，一种是基于模式匹配的启发式自动检测算法，这种算法对应用程序透明，能检测到的可以预读模式比较单一。另一种是用户通过readahead和fadvise接口显示通知预读。这种预读模式对用户不透明，需要用户程序中显示调用，它可以应对各种比较复杂的的访问模式。 

目前在linux操作系统提供了通用的顺序预读算法，来加速顺序读的性能，并没有针对跨步读(stride)模式的预读算法。 

发明内容

本发明针对上述模式，提供了启发式的stirde预读算法，同时通过ioctl接口提供了一种用户可以批量通知预读的接口。 

一种文件系统stride访问模式的预读方法， 

在每次读之前，更新stride预读状态的历史读记录，并根据历史读记录，通过stride模式的匹配算法来检测是否是stride读模式；如果是，则开启stride模式的预读，进入stride模式的预读算法；否则进入顺序预读算法。 

优选的，所述stride预读模式开启后，检测的stride读模式的参数，获取跨步读模式step和size参数，在构建预读窗口时，跳过不需要访问的页，只预读需要访问的页。 

优选的，根据所述预读的命中率，来动态调整预读窗口的大小。 

优选的，所述stride模式有三种， 

FIX_ALL模式：访问的间隔和长度都相； 

FIX_POS模式：访问的间隔相同，但是长度不同； 

FIX_STEP模式：访问的间隔步长相同，长度不同。 

优选的，所述预读方法在ictol命令中添加自定义参数，所述自定义参数包括预读段的数目、预读的偏移和长度。

本发明对特定应用的访问模式跨步读模式(stride模式)设计的预读方法，有效提高了应用程序stride模式访问的性能。 

具体实施方式

预读算法的基本思路 

通常文件系统的预读在内核系统例程：generic_file_read函数里通过page_cache_readahead实现，本文要实现自己的预读算法，就必须修改generic_file_read例程，在其中添加自己的stride预读算法，并和内核的顺序预读算法协同工作。 

stride模式的检测 

有三种stride模式：在第一模式下，访问的间隔和长度都相同，这种称谓FIX_ALL模式，第二种是访问的间隔相同，但是长度不同，这种称谓FIX_POS模式，在第三种是访问的间隔步长相同，长度不同，这中称为FIX_STEP模式，这三种stride读模式的检测，根据上述三种特征来分别检测。 

预读窗口的构建 

通过上述模式，来检测出如果是stride模式预读，就构建相应的预读窗口，在构建预读窗口时，要根据三种模式，来计算预读的目标页，特别要跳过那些不需要预读的页。窗口的构建是自适应的，在初始时，窗口相对比较小，根据预读的命中率逐步加大。 

ioctl批量通知机制的实现 

相对于readahead只能提供一次只能预读一个连续的数据块预读接口，本发明通过ioctl提供可以批量预读的预读接口。

修改ioctl命令，给ioctl添加一个OFS_READAHEAD的命令，来告诉文件系统，这是一个预读的命令。 

通过定义参数，可以批量通知内核多个不连续的文件块的预读。 

ioctl预读接口的不同之处，在于它可以一次批量加载多个文件段预读请求。自己定义了其接口参数如下： 

如上接口，用户可以指定nr为预读段的数目。在readv参数里添加预读的偏移和长度。这样就可以指定的预读的多个文件段。