[发明专利]一种基于用户协作云的云存储系统

说明书

技术领域

本发明涉及云存储技术领域，具体是一种基于用户协作云的云储存系统。

背景技术

当前以数据中心为基础的云存储系统，其数据访问模式沿用缺少交互、被动管控的主从模式，其内部组织依赖传统的分层体系结构，随着数据中心规模的发展，面对网络存储应用日趋复杂，当应用需求发生变化时，存储系统难以做出相应满足，基于数据中心的云存储系统将面临如下几个方面的问题（以GFS为例）：

（1）集中式元数据管理瓶颈问题。GFS最初设计的存储容量是百万到千万GB级的大文件，随着数据中心的发展，现有文件数量已经达到百亿量级，2～3年后可能达到万亿量级。对于如此庞大的文件数量，GFS依赖单个元数据服务器的内存来管理整个文件系统的所有元数据信息的集中式处理已经不能满足需求，集中管理已经成为瓶颈，系统访问性能急剧下降。面对这些问题，谷歌新一代的文件系统Colossus已经采用分布式元数据管理和备份恢复等技术来尽量避免，但是系统生而有之的缺陷仍末得到根本性的解决。

（2）小文件高度并发访问导致性能下降问题。网上大量交互式用户产生了大量、高度并发的访问，如网上购物的商品图片、社交网络的照片、邮件等。这些访问的文件小，大多不超过1MB，具有高并发、交互式访问的特征，因此需要高吞吐率和低访问延迟来满足需求。而GFS和传统文件系统在访问一个文件时需要多次磁盘访问和多次网络传输，这难以满足低延迟的需求。Facebook和淘宝分别开发了专用文件系统来构建相应的云存储系统，如Haystack和Oceanbase。但这些文件系统与特定应用的耦合度高，定制性强，对文件系统的很多操作接口都不支持，因此它们虽然在特定访问模式下的性能比较高，但适应性差。

（3）存储成本较高问题。GFS的存储成本主要来自它的容错机制，由于GFS是运行于低成本和较低可靠性的硬件上，因此通过多副本来保障数据的可靠性和可用性。每个数据在GFS中通常保存3个副本，这导致存储成本提高了3倍。目前产业界也在尝试各种方法来降低存储的成本。例如，将数据压缩后再存储，或采用纠删码（Erasure Code）。

（4）多个数据中心构成全局数据视图带来的问题。GFS是针对一个数据中心的数据存储，在多数据中心下将存在如何放置和移动数据，如何保证数据一致性等问题。

综上所述，针对目前以数据中心为基础的云存储系统，存在访问性能瓶颈，主从访问模式灵活性不足等问题，特别是用户对“云”中海量存储需求不断增长，导致云计算面临海量存储资源高效管理和精确定位等突出问题。

目前，网络海量存储系统在向大规模存储异质异构方向发展，这需要融合不同层次、不同类型的器件、设备、子系统、区域的存储单元组建大规模海量网络存储系统。

P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储空间、网络带宽等），这些共享资源需要通过网络连接，使对等节点(Peer)之间能直接访问到对方的资源而无需经过中间实体。网络的参与者既是资源提供者，又是资源获取者。

P2P网络的一个重要的目标就是让所有的客户端都能提供资源，包括带宽，存储空间和计算能力。因此，当不断有节点加入且对系统请求增多时，整个系统的容量也随之增大。

P2P网络具有如下特点：

1.首先，P2P网络已实现无中心服务器，可以很好的分散网络的数据存储以及搜索等操作的计算压力。

2.P2P网络具有极佳的自适应性，可针对不同文件的访问量，自动调节数据的冗余度，并使得热门资源的可下载源自动增加，网络始终处于一种动态平衡中。节点的加入与退出也无需对应用做任何调整，网络可以实现高度的自由组网与自治管理的能力，系统的资源可得到透明化的动态扩充。

3.P2P网络本身具有备份与共享的概念，用户可以从任意具有用户所要文件的节点下载数据，只要有同一个文件索引，用户也可以在不同的终端和地点，下载同一个文件，并且，通过对文件索引的自动数据校验功能（散列计算），用户可以确认下载的文件是否是同一个版本的文件。

从上述可知，P2P存储节点以功能对等方式组成存储网络，既可以是完全由统一管辖的服务器节点以对等方式组成封闭式对等网络存储系统，又可以是完全由客户端组成的开放式对等网络存储系统，还可以是服务器与客户端共同以对等方式组成的混合存储系统。因此，P2P存储技术可用来组织大型存储服务系统，将P2P存储系统融入主要以数据中心为主的云存储系统，组建网络海量数据存储体系，可以提高存储性能和效率，改善存储系统的可扩展性及健壮性。