[发明专利]文件系统及数据布局方法

说明书

本发明提供一种文件系统，文件系统包括成本计算模块和区域划分模块，成本计算模块用于计算或预估文件系统中文件请求的访问成本，成本计算模块能够向区域划分模块输出成本模型；区域划分模块用于将文件划分到的不同区域，以使得给定访问的总成本最小化；区域划分模块还用于获得区域对应的条带大小。本发明还提供一种数据布局方法。现有技术相比本发明的有益效果是：该文件系统通过将文件划分为一组最优区域的方式来支持区域级的数据布局，而且通过该文件系统能够确定最优区域及对应条带大小，故此，该文件系统能够优化混合型存储系统的数据布局，进一步该文件系统能够灵活地适应工作负载的变化和存储系统的异构性，能够显著加快I/O系统性能。

技术领域

本发明属于数据布局技术领域，尤其涉及一种文件系统和一种数据布局方法。

背景技术

随着大规模数据密集型应用在各个应用领域不断增加，I/O(输入/输出)性能正成为存储系统的瓶颈。为了解决这个问题，本领域技术人员相继将诸多并行文件系统(Parallel File System，简称PFS)引入高性能存储系统当中。上述的并行文件系统包括OrangeFS、Lustre、GPFS、PanFS和PLFS等，各并行文件系统的简介如下：

1、OrangeFS是虚拟并行文件系统(PVFS)的一个分支，其与PVFS类似，是一个针对高性能计算以及高性能数据访问所提出的一种并行文件系统。与传统的PVFS相比，Ora-ngeFS致力于提高小文件处理的性能、增加服务器的交叉容错及提供安全访问控制。

2、Lustre是HP、Intel、Cluster File System公司联合美国能源部开发的Linux集群并行文件系统，Lustre采用分布式的锁管理机制来实现并发控制，元数据和文件数据的通讯链路分开管理。

3、GPFS是General Parallel File System的缩写。源自IBM公司的GPFS是一个可扩展、高性能、基于共享磁盘的通用并行文件系统，GPFS能为存储系统中的所有节点提供并行、高速、安全、可靠的数据存取。

4、PanFS是由Panasas公司研发的并行文件系统，PanFS是通用的并行文件系统，目前其主要的应用领域和luster类似，PanFS可扩展行，其能够通过分布式锁提供的强一致性。

5、PLFS是一款开源的并行检查点存储文件系统。

综上，基于这些并行文件系统就能够执行跨多个服务器分发数据文件的操作，因此，并行文件系统(PFS)可以允许并行应用的多个任务以聚合的I/O带宽形式同步访问数据文件。

但是现有的并行文件系统(PFS)也并不是没有缺陷的，其缺陷在于，现有的并行文件系统(PFS)与基于新型存储技术的混合型存储系统不匹配。在逐步展开描述不适配问题之前，首先需要阐明的是基于新型存储技术的混合型存储系统的情况，随着新型存储技术的发展，基于闪存的固态驱动器(Solid State Disk，简称SSD)应用越发广泛，较硬盘驱动器(Hard Disk Drive，简称HDD)而言，固态驱动器具有存储效率高、响应快和成本高的特点，所以，综合考虑，一个合理的存储系统不适合全部由硬盘驱动器组成，因为读写和响应速度偏慢，合理的存储系统也不适宜全部由造价很高的固态驱动器组成，换言之，固态驱动器在一个大型集群中并不会完全取代硬盘驱动器。因此，使用同时包括基于固态驱动器的服务器和基于硬盘驱动器的服务器的混合型存储系统是一种优选策略。这种策略对于有限成本预算下的HPC系统更加实用。HPC是高性能计算(High Performance Computing)机群的简称。

另一方面，并行文件系统(PFS)的效率取决于有效的数据文件布局，即数据文件如何在可用节点上分布，大多数现有的布局方案使用固定大小的条带分割成多个服务器上分布数据文件，还利用固定大小的条带提供来自多个服务器的并发数据访问，这甚至使得每个服务器上都有数据放置。虽然现有的布局方案实现简单，易被广泛使用，但这样的布局方案显然是适用于使用了同质服务器的存储系统，不适用于混合型存储系统。