[发明专利]基于对象集群文件系统的对象副本高效管理方法及系统

说明书

技术领域

本发明涉及一种基于对象集群文件系统的对象副本高效管理方法及系统，属于信息技术领域。

背景技术

随着计算机技术和网络技术的飞速发展，由此产生的各种应用数据呈几何级数爆炸式增长，各种在线数据飞速增长，促使数据存储容量以每年数十倍的速度急剧增长，大量数据密集型的应用，如数字图书馆、数据仓库、数据挖掘、气象数据处理、医药视频图像处理、生命科学研究、多媒体点播、在线数据处理等，对存储系统的性能提出更高的要求，数据访问的压力也在不断的增加，保持高速的数据访问能力并让每个用户获得尽可能高的访问效率是IT行业关注的焦点，这对存储系统的性能，比如I/O带宽、吞吐率、响应时间等提出更高的要求，如何构建一个高性能、高可伸缩、高可用、可管理、安全的存储系统就成为了目前存储系统所面临的一个重要问题。

对象集群文件系统是融合传统NAS（网络连接式存储，Network Attached Storage）架构和SAN(存储网络，Storage Area Network)架构存储两种经典架构的优点而产生的新的大规模存储系统的体系结构，使多台服务器对外提供统一的功能和强大处理能力的服务特性，具备高性能、高可靠性、负载均衡、数据共享使用等集群自身特点。具体而言，对象集群文件系统是将每个存储设备作为一个存储，通过高速互联网络连接起来，将数据分散开存储在多台独立的设备上，这些设备可以独立运作，相互之间又可以合作。每个I/O不仅可以访问本的存储空间，还可以访问其他的存储空间，所有存储的空间以一个虚拟磁盘的方式提供给客户端用户。对象集群文件系统的核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储服务器集群构建存储系统，每个对象存储服务器能够自动管理其上的数据分布。对象集群文件系统主要包括三部分，分别为客户端（Client）文件集群、元数据服务器集群（MSD，Metadata Storage Device）和对象存储服务器集群（OSD，Object Storage Device），元数据服务器集群又包括Master MSD和Slave MSD，Slave MSD为Master MSD分担部分负荷，达到负荷均衡，同时作为Master MSD出现故障时的备用服务器，Slave MSD上的数据由Master MSD分发；如果数据发生改变Slave MSD仍然需要从Master MSD上获得相应的数据。由于元数据管理（大约有90%的负载）已交由OSD负责，元数据服务器只管理与文件目录有关的元数据（约10%的负载），即将文件目录映射为对象，对象是系统中数据存储的基本单位，一个对象实际上就是文件的数据和一组属性的组合，这些属性可以定义基于文件的数据分布和服务质量等，而传统的存储系统中用文件或块作为基本的存储单位，在块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通信维护自己的属性。在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象。OSD具有自己的CPU、内存、网络通信接口和磁盘、OS操作系统，目前国际上通常采用刀片式结构实现对象存储的设备。OSD提供三个主要功能：（1）数据存储，OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写；（2）智能分布，OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能；（3）每个对象元数据的管理，OSD管理存储在其上对象的元数据，该元数据与传统的inode（索引）元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。MSD控制Client与OSD对象的交互，主要提供以下几个功能：（1）对象存储访问，MSD构造、管理描述每个文件分布的视图，允许Client直接访问对象，MSD为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问；（2）文件和目录访问管理，MSD在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等；（3）Client Cache一致性，为了提高Client性能，在对象存储文件系统设计时通常支持Client方的Cache（高速缓存）。由于引入Client方的Cache，带来了Cache一致性问题，MSD支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。