[发明专利]一种分布式对象存储系统的资源管理方法

说明书

技术领域

本发明涉及云计算计算机数据分布式对象存储的领域，尤其涉及一种云计算环境下分布式对象存储系统的资源管理方法。

背景技术

在云计算环境下，数据的存储是一个极其重要的问题。传统网络存储主要分为三种：直接附加存储(Direct Attached Storage，DAS)、存储区域网(Storage Area Network，SAN)和网络附加存储(Network Attached Storage，NAS)。但是，DAS不适合大规模数据存储；而对于SAN和NAS，随着数据规模的增大，元数据服务器很容易成为整个系统的瓶颈。

相对于传统存储系统，新型的分布式对象存储系统(Object-Based Storage，OBS)能够很好地解决上述问题。OBS提供了一个带有NAS系统的传统的文件共享和管理特征的单系统映象(single-system-image)文件系统，并改进了SAN的资源整合和可扩展的性能。与传统面向块的逻辑单元不同，对象存储不提供对不相关的数据块的访问，它允许通过存储对象来访问相关的数据块。存储对象是一个虚拟实体，它是一个客户认为相关的一组数据，类似于平面文件系统中的大小不限的比特流文件，但对象又不同于文件，它只是有属性的比特序列。尽管对象既不同与数据块，也不同于文件，但可通过对象语义的定义来实现文件或数据块的输入/输出，因此，通过对象实现了文件输入/输出和数据块输入/输出的统一。

对象存储的管理分两部分：服务器和对象存储目标端(Object-based Storage Target，OST)。服务器将所有存储目标端的存储空间虚拟为统一的存储空间，同时负责用户的命名空间的管理，在认证用户请求后，分配给其唯一的对象ID，并按一定的算法实现用户命名空间到存储空间的映射。OST负责与其相连的存储设备的管理，它没有对象命名空间，只有平面对象ID空间，OST根据对象ID在存储设备中分配存储空间或访问存储对象。

对象存储通过信用保证所有操作的安全，信用包括允许客户的操作集和完整性编码。对每个操作简单提供信用，即使信用不加密，也能提供保护(由于完整性编码)，因为不可能偶然为一个操作提供一个可靠信用。为了提供安全，对信用的某些形式的加密保护是必要的。对象存储提供安全和保护是在对象级而不是整个卷级，因此允许不可信的客户位于存储网络中，并允许共享访问存储数据而不需访问整个卷的数据。由于客户不能直接访问定位元数据，可提供额外的保护，因为不可能有错误配置和蠕虫主机破坏定位元数据。

此外，对象存储体系结构在每一个级别上都提供了安全性：存储系统对存储设备的认证；存储系统对计算节点的认证；存储系统对计算节点命令的认证；所有命令都经CRC(Cyclic Redundancy Check，循环冗余校验码)的完整性检查；数据和命令经由IP的私有性。这样的安全水平能给用户以信心，让他们可以更经济高效地管理并轻松地访问网络。因此，分布式对象存储是一种高性能的、安全的大规模数据存储技术。

对象存储系统在大规模数据存储、性能、数据共享和可扩展性方面已经取得了很大的成就，并得到了业界的广泛认可。如Panasas公司是全球第一家OSD(Object-based Storage Device，对象存储设备)产品的提供商，同时提供面向对象的存储和并行文件系统。HP已经和开放源代码厂家Lustre文件系统合作，使用OSD作为HP StorageWork可扩展文件系统的重要部分。

在分布式对象存储系统中，数据对象的所有操作都需要访问元数据，在一些极端情况下，系统对元数据的访问次数占据了大部分的数据访问时间，从而可能成为制约系统性能的瓶颈。所以，高效的元数据管理方法对整个存储系统提供高性能和高可伸缩性至关重要。同时，大规模分布式存储系统的存储容量往往是动态变化的，需要不断增加新的存储节点，淘汰旧的存储节点，高可伸缩性、高可管理性要求数据对象能够实现自适应的、均衡的分配，以保证数据对象在整个存储系统的分布总是负载均衡的。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种分布式对象存储系统的资源管理方法，以分别实现高效的元数据组织、定位和访问控制，以及数据对象分配的动态负载均衡。

为了解决上述技术问题，本发明公开了一种分布式对象存储系统的资源管理方法，所述分布式对象存储系统将文件的存储路径属性与文件的元数据分离，存储路径属性包括文件所在的存储路径名称及相应的路径访问控制属性，文件的元数据包括文件名、创建时间、修改时间以及文件长度在内的访问属性；