[发明专利]一种基于公有云的安全可靠的公有云存储系统的架构及方法

说明书

技术领域

本发明涉及一种基于公有云的安全可靠的公有云存储系统及上传、下载、删除、保障其可靠性的方法，属于大数据的云存储领域。

背景技术

在现在的大数据时代背景下数据作为一种资产，谁掌握海量数据谁就占据了巨量的财富。而用户的数据信息存储在一些公有云上则面临着数据泄露的危险，在数据挖掘技术的日益发展的当下谁都不能保证自己的数据存储在某些公有云平台上不被数据挖掘，这样用户的数据安全性无从谈起。

新兴的大数据技术让越来越多的企业意识到大数据的重要性，也想得到大数据的资产，于是许多企业发展大数据技术，提供云存储服务，有的甚至为了得到“大数据资产”甚至提供免费云存储服务，但是在大数据时代兴起的初期，探索不都是成功的，有的企业提供的公有云服务在一段时间过后并没有发现企业的盈利模式，但是提供的云存储服务每天都会产生大量的费用。于是企业的探索以失败告终，可能会关停提供的服务。这样，用户存储的大量数据就会面临危险。存储在公有云上的数据不够可靠。

完全依赖某一家的公有云服务性能和价格的比较可能不尽如人意。

建设和维护一个数据中心要花费大量的人力物力财力，所以即使大型的公有云提供商也只是建设有几个数据中心，而需要大数据服务的用户可能在全国各地，这样数据的调度及传输等受到物理距离网络性能影响很大。存储性能受到客观条件的限制。

发明内容

本发明针对现有公有云存储存在的问题，提供了一种安全性高、可靠性好、性价比高以及调度灵活的基于公有云的安全可靠的公有云存储系统及上传、下载、删除方法。

本发明的架构方案：

一种基于公有云的安全可靠的公有云存储系统的架构，包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端调用服务器的公有云存储服务，服务器的底层对客户端不可见。

优选的：所述客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，其中：

编码模块，负责对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。并根据分成的校验块生成初始元数据信息。

解码模块，负责对用户从公有云下载下来的校验块的解码并整合恢复成原始数据。

服务器交互模块，负责调用服务器的公有云存储服务，主要包括向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息，接收服务器根据初始元数据信息反馈的存储元数据信息，以及向服务器发送下载请求。

公有云交互模块，负责把编码模块生成的校验块根据存储元数据信息分别上传到公有云，以及根据存储元数据信息分别下载对应的公有云上的校验块到客户端。

优选的：所述服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

文件系统管理模块，负责存储文件的存储元数据信息。

公有云存储管理调度模块，负责底层多家公有云的管理，根据初始元数据信息为所述客户端上传文件所需要的M家公有云的URL地址的分配，将初始元数据信息和其对应的URL地址合成为存储元数据信息。公有云存储管理调度模块用于检测公有云的服务状况。

数据容错恢复模块，负责底层公有云服务情况的容错恢复处理。

多家公有云负责存储实际的数据块。主要用于存储客户端根据存储元数据信息上传的校验块。

优选的：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用。