[发明专利]一种基于网络的PB级云存储系统及其处理方法

说明书

技术领域

本发明属于海量存储技术领域，尤其是海量存储中具有动态负载均衡、在线备份与自动故障切换、按需容量扩展功能的云存储文件系统，具体地说是一种基于网络的PB(1PB＝1024×1024GB)级云存储系统及其处理方法。

背景技术

在当今网络时代，存储技术正在发生革命性的变化。导致这一革命性变化的需求首先表现在存储容量的急剧膨胀。在数字化和网络互联时代、在多用户并行环境中，大规模应用系统的广泛部署对海量存储系统的性能和功能提出了巨大挑战，主要表现为高性能、可扩展性、可共享性、自适应性、可管理性，以及高可靠性和可用性。

基于专用存储设备构建的海量存储系统包括直连存储(DAS)、附网存储(NSA)、存储区域网(SAN)。这些海量存储都依赖于昂贵的专用存储设备，且存在管理复杂、扩展困难等问题。

基于分布式文件系统构建的分布式存储系统可部署于通用计算机上。传统的分布式文件系统包括NFS、AFS、GPFS等。NFS是目前应用最广泛的分布式文件系统，但是其可扩展性差，是基于单服务器模型的，即使网络中有多台NFS服务器，它们之间也没有任何联系，各自独立运行。随着系统客户规模的增长，NFS服务器将逐渐成为系统瓶颈。AFS、GPFS等大多提供了存储位置的独立性和容错功能，但这些文件系统都是针对科学计算设计的，对带宽和时延要求比较高，且缺乏对服务器动态加入和退出的支持，也不支持服务器失效的检测，随着系统规模的扩大，维护成本会急剧增加。

随着云计算思想的普及，云存储成为海量数据存储与管理高效而廉价的解决方案。较著名的有Google的Google File System(GFS)以及其开源实现Hadoop Distributed File System(HDFS)。GFS是为基于大文件和流式访问的数据并行处理而设计的，不适合文件的通用持久存储。HDFS的链式副本更新方式将造成系统性能严重下降，且HDFS目前还不支持存储服务器的动态加入和退出。国内著名的淘宝网也研制了Taobao File System(TFS)，TFS针对海量小文件的随机读写访问性能做了特殊优化，使得其也不适合用作通用海量存储。

通用云存储文件系统通过云存储文件系统将集群中大量通用、廉价、低性能的存储设备协同起来，共同对外提供高性能的存储服务。用户无需关心数据具体的存放位置、存储形式，只需通过云存储客户端虚拟化软件，即可享受与本地硬盘无差异的海量高可靠存储服务。

云存储文件系统中存在多个模块，各模块间通过网络进行数据交互，因此会带来用户可体验的响应延迟，为了缩短或消除由于网络延迟造成的云存储文件系统响应延迟，需要使用缓存技术。目前，具有代表性的缓存调度方法包括：FIFO、LRU、LFU、Hyper-G、SIZE、GD-Size、LRU-SP、LEC等。这些缓存调度方法仅考虑如何提高缓存的命中率，却并没有考虑降低缓存序列的调整次数和缓存对象的查找次数。但在云存储文件系统中，由于存在大量概率分布平均的频繁的并发访问，若使用以上缓存调度方法，将导致系统不断调整缓存序列，从而造成一定的延迟。

为了提高云存储文件系统并发处理任务的能力，需要使用负载均衡技术。早期的负载均衡算法有随机(Random)算法和轮询(Round-Robin)算法，它们计算简单、效率高、应用较广。但这两种算法未考虑后端服务器的实际负载情况，以及服务器之间的性能差异，从而当系统的并发访问数增大时，不能保证各服务器之间的负载均衡。另外还有基于服务器中当前活跃连接数的最小连接数(Least Connection First)算法，选择当前正在处理的请求个数最少的服务器作为转发对象。但活跃请求连接个数并不能完全反映服务器处理负荷上的差异，如处理能力强的服务器在单位时间内可处理更多的请求。后来又出现了加权轮询(Weighted Round-Robin)算法和加权最小连接数(Weighted Least Connection First)算法，通过为不同的服务器配置不同的权值来平衡服务器之间的差异。但静态的权值信息不能表现动态的负载特征，随着系统运行时间增长，将导致集群负载分布的不平衡。

因此，现有的云存储文件系统存在扩展困难、管理复杂，易出现存储孤岛等问题，不能满足使用需求。

发明内容