[发明专利]一种性能优化的小文件存储访问的系统及方法

说明书

技术领域

本发明涉及分布式文件系统中的小文件存储方法技术领域，特别涉及一种性能优化的小文件存储访问的系统及方法。

背景技术

随着互联网技术的不断发展，互联网上充斥着各式各样的服务和海量数据信息。为了能够更好地组织和管理这些海量数据，目前已提出了各种类型的分布式文件系统结构。由于互联网上的数据信息大多以高频率的小文件形式表现出来，而且在一般用户的信息存储访问中，对小文件的存储访问较多，因此对互联网上高频率的小文件读/写性能的研究有重要的现实意义。

在分布式文件系统中，对于大文件，往往采用条带化技术对文件进行切片，并分发在多个数据服务器上进行存储，以此来提高用户对文件访问的并发性，从而提高对大文件的访问性能。而对于小文件(≤64KB)，由于其不利于条带化，所以一般是采用将单个文件存储在单个数据服务器上的策略。但是当小文件的数量到达一定程度之后，对小文件的大量地重复访问将会给数据服务器带来性能上的负担及I/O瓶颈问题。

传统的分布式文件系统在小文件管理上主要存在以下3个方面的问题：

1)由于小文件的访问频率较高，需要多次访问磁盘，所以磁盘I/O的性能较低；

2)因为文件比较小，容易形成文件碎片而造成磁盘空间的浪费；

3)为每个小文件请求建立一个连接时容易产生网络时延。

因此，优化小文件的存储访问性能至关重要。目前，小文件的优化存储访问研究主要是针对小文件访问I/O性能较低和容易形成文件碎片的问题，但没有考虑其他操作带来的文件变动问题。

其他相关的研究还包括对现有分布式文件系统的优化研究和文件传输的优化等。但该研究主要用于通用文件的传输，还不能最优化小文件的传输性能。

发明内容

为了解决现有技术的问题，本发明提供了一种性能优化的小文件存储访问的系统及方法，其将逻辑上连续的数据尽可能存储在物理磁盘的连续空间，使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率，提高了小文件访问性能；写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入，减少了文件碎片数量，提高了存储空间利用率；文件传输时利用局部性原理，提前发送批量的高访问率的小文件，降低了建立网络连接开销，提升了文件传输性能。

本发明所采用的所述技术方案如下：

一种性能优化的小文件存储访问的系统，包括文件系统接口、文件夹域管理器、文件信息节点管理器、块管理器和文件缓冲管理器五个模块，所述的文件系统接口负责对其他模块进行封装，向上层提供灵活统一的文件访问接口；所述的文件夹域管理器负责对文件夹域进行管理，它负责管理同一个文件夹的各个文件信息节点和存储在该文件夹中的所有文件数据；所述的文件信息节点管理器负责对文件信息节点进行理；所述的块管理器负责对磁盘块的空间管理，磁盘空间的开辟也是由此模块负责；所述的文件缓冲管理器负责对文件缓存的管理。

在所述的文件信息节点管理器中，还设定了一个文件信息节点的缓存器，这个缓存器用于存放最近访问过的和高频率访问的文件信息节点。

一种性能优化的小文件存储访问的方法，包括：

A、将磁盘空间划分为多个块，每个块的大小为64KB，当遇到的文件≤64KB时，则所述的文件只能存放在单个块中，不能跨越2个块存放，每个文件数据都存放在连续的磁盘空间上；

B、当系统要读取某一个文件时，采用预读的方式，将同一个块中的文件一起读取出来；

C、使用cache充当元数据服务器的角色，在cache上保存文件信息节点的信息，并且通过简化的Inode数据结构使每个文件信息节点只保留文件的磁盘空间信息，所述的Inode数据结构如下表所示：