[发明专利]海量数据分级存储方法

说明书

技术领域

海量数据分级存储方法属于数据迁移领域，尤其涉及其中的数据分级，数据管理和迁移决策领域。

背景技术

海量数据分级存储技术是指：由具有不同性能、可用性和每位价格等指标的存储设备构成多级存储系统；根据海量数据的访问规律，按照近期访问概率的不同将数据分成不同级别；根据数据级别的变化在不同级别的存储设备之间迁移数据。在合适的时间将合适的数据动态迁移到合适的位置，目的是使该存储系统的服务质量在统计上较高，而总拥有成本较低。传统的分级存储系统由在线设备(磁盘)和离线设备(磁带)两级构成，数据在创建时放在在线设备上，当在线设备容量快满时将不重要的文件迁移到离线设备上。而离线设备不能提供在线访问，用户如果需要访问离线设备上的文件，必须将其先迁移到在线设备上，这样不但造成访问不命中开销很大，也造成了迁移数据量过大。因此，传统的分级存储系统主要应用在访问不是特别频繁的归档/备份环境中。另外，传统的分级存储系统没有考虑到设备的性能差异，性能差异大的设备和性能差异小的设备采用相同的迁移触发条件，不利于系统的可扩展性。

本发明提出了一种新的海量数据分级存储方法，分级存储系统由均可提供在线访问的快速设备和慢速设备构成，将数据按照访问情况进行分级，同时在迁移决策过程中考虑设备的性能差异，有效解决了上述问题。

发明内容

本发明的目的在于提供一种能全面满足网络服务和科学计算需要的海量数据分级存储方法，实现多级存储设备中文件的统一管理，能够兼顾较高的访问性能和较低的总拥有成本。本发明的重点在于元数据服务器中迁移决策模块和数据服务器中迁移执行模块的设计，数据分级方法和数据服务器在迁移过程的一致性保证。

本发明的特征在于：它是在由以下设备构成的并行文件系统中实现的，该系统含有：

各种类型的前端主机，即应用服务器，该前端主机的并行文件系统客户代理模块实现虚拟文件系统层(VFS)的各种文件操作以及从下述元数据服务器读取相应文件的元数据；

元数据服务器，有一台或多台，按照TCP/IP协议经以太网与上述各前端主机相连，把位于不同数据服务器上的数据文件组织成统一的并行文件系统视图，为上述各前端主机提供元数据操作服务，同时执行文件扫描，数据分级，迁移决策和迁移速率控制等操作，实现对海量数据分级存储系统的文件管理；

数据服务器，有多台，按照性能高低划分为快速数据服务器和慢速数据服务器，保存着每个文件分片后的数据文件，可以为前端主机提供文件I/O操作，同时执行元数据服务器发来的文件迁移命令；

1.海量数据分级存储方法，其特征在于，依次含有以下步骤：

步骤(1).初始化：

在作为应用服务器的各种类型的前端主机上部署并行文件系统客户代理模块，以实现虚拟文件系统层VFS的各种文件操作，并从下述元数据服务器中存取各文件的元数据，该模块由下述两部分子模块构成：系统接口子模块及VFS子模块，其中：

系统接口子模块，在用户空间实现，为文件访问提供系统接口：通过网络通信层读写元数据服务器中的文件元数据；通过网络通信层从数据服务器读写文件数据；该系统接口子模块又提供文件迁移的客户端接口，支持用户手动对文件迁移；

VFS子模块，在内核空间实现，通过系统接口子模块中的系统接口，实现文件的VFS层操作，供用户通过VFS层对由所述应用服务器、元数据服务器和数据服务器构成的并行文件系统中的文件进行访问；

该并行文件系统客户代理模块按如下步骤运行：

VFS子模块接收由应用层发来的VFS访问请求，并把该请求转化为对系统接口子模块的各系统接口的请求；

在元数据服务器上部署元数据系统模块、元数据管理模块以及文件迁移决策模块，模块由运行在Linux系统上的用户空间程序实现，其中：

元数据系统模块，通过网络通信层接收到并行文件系统客户代理模块发来的元数据访问指令后，提供以下执行元数据操作的接口：文件创建、文件删除、目录创建、目录删除以及文件查找，供通过网络通信层与并行文件系统客户代理模块通信用；

元数据管理模块，为由多个数据服务器并行组成的文件自管理系统提供管理元数据的接口，执行包括目录项管理、系统负载获取、所述文件系统统计信息显示在内的操作；

文件迁移决策模块，由增量扫描器、文件访问表管理器和迁移调度控制器组成，按以下步骤执行文件的迁移：