[发明专利]双层元数据处理系统及方法

说明书

技术领域

本发明涉及计算机存储系统体系结构领域，特别是一种双层元数据处理系统及方法。

背景技术

随着世界信息化的不断推进，计算机已成为各行业中不可缺少的工具。在计算机中，承载信息的存储管理软件随着信息量的突增而日益受到了人们的重视。

存储管理软件的功能是将物理存储介质(如磁盘、盘阵等)组织成逻辑分组，以实现各种功能和特性。操作系统可以通过调用存储管理软件的接口为上层用户提供存储服务。

在存储系统中所进行处理的数据有两类，一类是用户使用的普通数据，另一类是存储系统用于管理用户数据的数据，即元数据(Metadata)。普通数据访问的特点是IO量大、CPU利用率低以及对网络带宽的要求高；元数据访问的特点是IO量小、CPU利用率高以及对网络延迟的要求高。由于上述两类数据间存在着差异，因此存储系统将这两类数据的信息和控制流区分，分别定义了普通数据和元数据处理的功能操作，并将对上述两类数据的管理分离到独立部件。其中，处理普通数据的部件称为数据存储服务器，处理元数据的部件称为元数据服务器。

对于数据存储服务器的设计主要有两类：第一类采用传统的块接口存储设计，即数据存储服务器对数据块进行管理；第二类采用面向对象接口的设计，即数据存储服务器对对象进行管理。对于第一类的设计，在国际上主要有两种基于块的形式的网络化存储架构，这两种架构通过命令集来进行区分，一种是SAN(Storage Area Network)结构，其采用SCSI块IO的命令集，通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率，SAN结构具有高带宽、低延迟的优势，在高性能计算中占有一席之地，但是，由于采用SAN结构系统的价格较高且可扩展性较差，目前已不能满足拥有成千上万个CPU规模的系统的需求。另一种第一类的设计是NAS(NetworkAttached Storage)结构，其采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，具有可扩展性好、价格便宜、用户易管理等优点，如目前在集群计算中应用较多的NFS文件系统就属于NAS结构，但是，由于NAS结构的协议开销高、带宽低、延迟大，因此不利于在高性能集群中应用。对于第二类的设计，其运用一个对象存储设备存放对象，以控制着从对象到物理介质的映射图，设备同时也跟踪作为属性的元数据，例如建立时间标记，从而允许在客户端非常容易地共享数据元数据，对象存储技术的最大优点在于它结合了SAN结构的可扩展性以及NAS结构的数据共享，它将客户端和OSD设备直接联系起来，并不需要中间环节来管理元数据。

元数据服务器的设计从系统构成角度可以划分为两类：一类是单元数据服务器，另一类是多元数据服务器。单元数据服务器由一台元数据服务器为整个系统提供元数据服务，所有客户端的请求都发送到一台元数据服务器上并被执行。单元数据服务器的设计方式的优点是元数据请求都在一台服务器中完成，不需要服务器之间进行交互操作，具有实现相对简单、易于管理等特点，其缺点是扩展性差，当分布式文件系统面对较大规模的密集元数据请求时，元数据服务器会成为性能瓶颈，从而降低整个系统的处理性能。多元数据服务器是由多台元数据服务器为整个分布式文件系统共同提供元数据服务器。在这种元数据服务器中，元数据请求划分到其中一个元数据服务器进行处理。多元数据服务器结构的优点是扩展性好，能够适用于较大规模的机群运算环境，其缺点是多元数据服务器之间的负载平衡难以维持，对元数据的一致性维护复杂，可靠性实现复杂。

在分布式文件系统领域中，元数据处理的重要性正越来越多的得到人们的关注，提升元数据的处理性能也成为了当前元数据研究中的热点问题之一。在对元数据处理性能需求较高的应用领域中，单元数据服务器结构由于性能受到扩展性的限制而不能满足应用中的需要，多元数据服务器结构则由于其具有良好的扩展性而得到了广泛的关注。