[发明专利]一个基于NVM的高性能、可扩展的轻量级文件系统

说明书

本发明提出一个基于NVM的高性能、可扩展的轻量级文件系统，包括：超级块，索引节点表，哈希表，区段表，元数据日志，数据日志，位图和文件数据空间；索引节点表中存储索引节点，每个节点存储必要的元数据信息；区段表中存储区段，每个区段存储一段以字节单位组织的连续区域信息；文件系统命名层由所述全局哈希表组织，其每个哈希桶是一个链接了具有相同哈希值的节点的链表；每个文件的数据由基于区段的文件B+树管理，各区段作为文件树的叶节点表示对应的文件数据片段；元数据日志和所述数据日志均包含多个日志文件；位图表示文件系统中每个数据块的使用情况；文件数据空间存储文件数据，以4KB大小的块为单位进行管理。

技术领域

本发明涉及数据存储，尤其涉及一个基于NVM的高性能、可扩展的轻量级文件系统。

背景技术

新型非易失存储NVMs，如Phase change memory(PCM)、Spin Transfer TorqueRAM(STT-RAM)，读写速度接近内存、能和CPU直接通信进行字节寻址访问、具有非易失性即断电后数据不会消失的特点。这些非易失存储技术的出现将会彻底改变现有的存储系统模式，并且为数据访问提供高度的并行性和极低的延迟(纳秒级)。

虽然非易失存储NVMs性能优越，但也正是因为它读写速度快、非易失性等特点为其上文件系统的设计带来了挑战，导致文件系统开销凸显，并且失去了数据一致性的保证。为了能够充分利用NVMs所提供的高性能，现有基于NVMs的文件系统改变了传统基于磁盘的文件系统的设计来利用NVMs的特性，如能与CPU直接通信、可字节寻址等。

现有技术中较为优秀的基于NVM的文件系统，如图1所示，磁盘文件系统需要通过DRAM页缓存和存储设备进行数据传输；由于非易失存储NVM是字节寻址方式，所以其上文件系统可以使用一种DAX或者XIP技术直接从NVM上读写数据，无需再进行NVM和DRAM页缓存之间的数据拷贝，从而提升性能。目前市场上基于NVM的文件系统都是此类DAX文件系统，本发明的文件系统也采用了这种模式。

(1)BPFS

BPFS提出一种short-circuit shadow paging技术实现数据细粒度的更改，减少了传统技术带来的级联写入时复制(Copy-On-Write)更新整棵文件树的多余开销；提出一种提交策略将顺序性与持久性解耦合，以缓解刷新缓存的开销。

(2)PMFS

PMFS跳过块层和页缓存，采用如图1所示的DAX技术提高性能，采用原子的in-place更新和细粒度日志机制保证元数据更新的原子性，采用undo日志和写入时复制(Copy-On-Write)混合方式保证数据的一致性。

(3)NOVA

NOVA采用日志结构的方式保证操作原子性和数据一致性，在内存中创建radix树来检索日志，通过设置每个节点对应一个日志来保证高并发性，对文件数据采用写入时复制(Copy-On-Write)和日志方式保证一致性，提出了原子的文件映射进内存机制。

(4)SoupFS

SoupFS将软升级方法用于文件系统，应用延迟持久化方法消除文件系统系统调用关键路径中的同步缓存刷新，提出了基于指针的双观测机制，共享大多数的数据结构，但是在不同的视图中使用不同的指针，从而保证在不同步刷新缓存情况下的正确性和一致性。

然而在现有技术中，即便基于NVM的文件系统针对NVM做了优化，仍旧不能充分利用NVM的特点而提供高性能的存储。现有技术中存在的问题有以下三点。

(1)虚拟文件系统VFS在NVM上带来了很多不必要的开销和扩展瓶颈