[发明专利]一种高可用云存储方法

说明书

技术领域

本发明涉及云存储技术领域中的分布式数据冗余备份技术，特别涉及一种云存储方法、编码存储方法、资源快速定位方法及其系统。

背景技术

随着云计算的发展，越来越多的企业和个人用户开始考虑向云端转移。将计算外包给云服务商，降低自身的基础设施购置，灵活的伸缩需求，减轻了IT初期配置以及后期维护的开销，只需要按需向云服务提供商付费即可，为企业的发展注入了新的动力。

云计算盛行于世界各地，其中最重要的并且受欢迎的云服务是云存储服务，例如亚马逊的S3和微软的Azure存储服务。云存储向用户提供数据存储服务，越来越多的数据将会被存放在云上，而数据的容灾备份需要大量的冗余存储空间。

云存储是伴随着云计算而发展起来的，专注于存储及服务的理念，云存储服务商为用户提供基于互联网的在线存储服务，用户不必担心存储空间的大小，存储设备的类型，以及存储的位置，只需要按需付费就可以获得几乎无限大的存储空间。

随着存储需求的迅速增长，云计算模式下的存储系统需要的存储空间越来越大。分布式存储系统将单独的存储资源整合成一个统一的管理空间，通过分布式的管理方式实现的一个大容量，高可用的存储系统。分布式的存储系统具有良好的可伸缩性和并行支持高容量的需求。除了可伸缩性外，云存储系统还具备一定的容错机制，与使用同样的可靠性级别的设备相比云存储系统的成本要少得多。一个云存储系统主要包括两个组成部分：存储系统的客户端以及存储系统的服务器端。

存储客户端主要提供计算能力接口和连接服务器端节点上的应用程序接口。这些应用程序可能位于虚拟机内。而存储服务器端主要是负责每个服务器内的资源分配，调度和管理。在客户端中主要的核心是云存储控制器，它作为与所有应用程序的接口供给存储需求。

在云计算中，由于其构成是大批量的X86廉价机，因此组件发生故障是很正常的事，而不属于异常。要保障用户能够对数据的随时随地访问，数据冗余备份至关重要。冗余备份技术保障了数据的可用性，在发生错误操作时可以进行快速恢复，最简单的方式是将数据文件拷贝多份分别进行存储。其数据控制过程主要有以下三点：1），用户与主节点进行通信查询所需的数据位置，或者自己创建一个新的数据交给主节点，由主节点进行处理，2），主节点将所有副本的信息响应给用户，这时用户就可以将数据推送到所有的副本。3），用户只对主副本进行操作，由主副本对其他副本进行同步，并将最终信息反馈给用户。

现有方案缺陷是：

1、危险性高，网络通信高负载

为文件的每一个数据块都设置三个甚至多个副本的方法在存储文件时，简单的为每个文件的数据块进行复制备份。这种分布式存储的方法虽然实现简单，但是大大增加了数据传送的任务量，对通信链路产生高负荷要求。当一个数据块的多个副本同时受到破坏时，整个文件就失去了完整性，无法再进行恢复。用户的多处备份数据之间的同步通信也会产生大量的网络请求，数据量大时，会造成网络拥塞等问题。

2、对存储空间造成浪费

根据目前的多备份冗余方案，存储空间的有效利用率最高为33.3%（三副本）。而随着海量数据的增加，数据存储空间将成为云存储系统的一大瓶颈。如果能够提高存储空间的利用率，同时保证文件的高可用性，将大幅度降低用户的单位存储成本消耗。

3、快速资源定位方法不够理想

现有技术中，云存储资源定位对单个数据块的处理不够理想。当用户取回存储数据时需要找到一份完整的文件副本，因此需要对每个数据块进行查找，而每一次的资源定位都是从主节点到存储节点的逐级检索，它的时间复杂度比较高导致响应时间比较长，因此在快速定位方面不够理想。

发明内容

本发明针对现有的云存储方法存储空间利用率低、冗余量大、网络通信高负载、对服务响应时间长等问题，提出了基于Vandermonde矩阵的冗余编码方法以及基于Chord环的资源快速定位方法，结合云存储的具体操作过程实现具备高可用性，低冗余度以及快速响应的云存储方案。