[发明专利]分布式存储系统及文件存储和读取方法

说明书

技术领域

本发明涉及一种云存储技术，具体涉及一种分布式存储系统及文件存储和读取方法。

背景技术

云计算是一个新兴的纵横向技术的集合。它快速变化着，很多提供商都想在这里领域里获得一席之地并且成为领先者。云计算有两个主要场所——私有云和公共云。一般而言，在一个机构里的网络、存储和计算机资源上，云计算是按需可用的。私有云让IT机构能提供在各个部门之间更灵活的、更少限制的和更有资本杠杆作用的传统企业服务。公共云也几乎一样，不过它是由外部公司提供的并从互联网上进行访问的。在这种公共模式里，客户不需要购买任何硬件，也不需要提供硬件/软件性能的维护。成熟的公共云要求客户为具体使用各种资源（网络、存储和计算）而买单。

传统方式的数据存取主要依赖于单个磁盘的能力，包括磁盘的性能和容量。磁盘是物理结构的设备，依赖于磁头的移动和盘片的选择来存取数据。当发生大数据量的读取和写入时，磁头和盘片都会遇到瓶颈，无法响应过多的请求，导致业务应用无响应等待或中断，这些问题都是由磁盘的机械结构原理造成的。特别是当数据磁盘发生故障时，存在磁盘上的数据将会面临丢失的风险。

另外，在实施公共或私有云时，最关键的因素就是使成本和管理最小化。云计算的整个理论都是建立在节省成本上的，这种节省来源于共享资源（包括虚拟化和低配置）、自动化和标准化。不管客户是一个公共云提供商还是要构建一个私有云的客户，他们都可能非常关心获取资源的成本、资源的利用率和有效性、数据保护/灾难恢复能力，以及持续增加的管理成本。另外，客户可能需要实施虚拟化解决方案并提供访问共享。Citrix和Vmware 、通常是Citrix或Vmware以及越来越受欢迎的微软HyperVShared技术通常都包括一些形式的多租户；能够在同一个存储设备上支持不同的机构/公司，同时这种支持又具有一定的隔离性。关于性能，很多公共云提供商可能关心并发性能和可扩展性；私有云客户可能更关心传统企业性能的需求，即稍低的并发性和更多的事务性I/O。

在仔细分析了总拥有成本后，结合现在的云计算技术，客户都需要一种单一且经济的存储解决方案。这个方案需要具有系统的易管理性（随时间推移而不需要额外的资源）、无缝扩展容量（和/或性能）的能力和利用持续商品化的存储的能力。除开技术方面的优点，还需要“按需购买，渐进扩展”模式保护了资本和运营花销。这种能力让云提供商能平衡他们的花销和实际存储利用率，这对于一个成功的云业务模式是非常关键的。

发明内容

本发明提供一种分布式存储系统及文件存储和读取方法，实现高聚合带宽，高速后台网络，提高文件存储的性能和安全性。

为实现上述目的，本发明提供一种分布式存储系统，其特点是，该系统包含：

存储池，其网络连接外接客户端，通过网络接收外接客户端上传的被存储文件；

文件分块模块，其通信连接存储池，将被存储文件条带化处理成若干个文件块；

若干存储节点，其分别通信连接所述文件分块模块，被存储文件分块产生的若干文件块分别存储于各个存储节点。

每个上述存储节点为一个物理存储设备；；或者若干存储节点为一个物理存储设备中的若干个存储模块。

上述存储节点相互之间采用InfiniBand架构或千兆级以太网进行通信和同步。

上述存储池为若干物理存储设备分别提供部分存储空间聚合形成。

一种分布式存储系统的文件存储方法，其特点是，该文件存储方法包含：

外接客户端通过网络将被存储文件上传至分布式存储系统；

分布式存储系统对被存储文件进行条带化处理，分成若干文件块；

被存储文件的若干文件块分别存储于分布式存储系统的若干存储节点。

上述分布式存储系统对若干被存储文件依次进行存储；

分布式存储系统在存储每个被存储文件时，对该被存储文件进行条带化处理，并完成将该被存储文件的文件块布置于若干存储节点后，再存储下一个被存储文件。

上述分布式存储系统对存储于其各个存储节点中的每个文件块进行镜像复制，一个原文件块复制产生一个或若干个镜像文件块，一份或若干份镜像文件块存储于原文件块所在的存储节点之外的一个或若干个其他的存储节点。

上述分布式存储系统完成对被存储文件的条带化处理并将各文件块存储于各个存储节点后，对该被存储文件编写校验码，将校验码分别存储于各个存储节点中；当其中任意的存储节点替换为新存储节点时，其他未替换的存储节点根据校验码将被替换的存储节点上的数据恢复至新存储节点上。