[发明专利]一种分布式数据存储管理方法

说明书

技术领域

本发明涉及计算机通信技术领域，具体的说是一种分布式数据存储管理方法。

背景技术

随着互联网时代的数据爆炸式增长，普通数据中心用于存储数据的硬盘的容量在不断增长，越来越多的数据被存储在同一个硬盘或硬盘整列中，但是硬盘部件的硬件故障失效率并没有随之降低。这意味着的单位数据的失效风险在不断加大，数据恢复的时间越来越差，用户的数据可靠性面临着越来越高的挑战。如何有效降低数据失效率，是计算机通信技术面临的一大难题。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种分布式数据存储管理方法。

本发明的技术方案是按以下方式实现的，该一种分布式数据存储管理方法，其具体实现步骤为：

1）由数据源层产生数据，该数据源层即为用户的应用程序产生数据来源； 

2）步骤1）中产生的数据进入数据处理层，该数据处理层将文件数据进行分块处理，所述数据处理层包含EC算法控制端处理原始数据；

3）数据处理层处理的分块数据进入数据传输层，该数据传输层将分块数据封装成数据包，通过SCSI协议或者IP协议把数据包传输到数据存储层内；

4）所述数据存储层对接收到的数据包解包后存储，该数据存储层是指若干子存储阵列节点，每个存储阵列节点负责存一个数据分块。

上述技术方案中，通过相关算法将传统架构中存储在统一物理位置中数据进行分散管理，通过erasure code算法将文件数据进行分块处理,再通过SCSI或者IP数据包将处理过的分块数据分布存储于多个子阵列节点中。

所述数据存储层的子存储节点之间在物理上相对独立，即每个子存储阵列节点拥有自己的数据冗余保护方法，可独立的进行数据保护、数据备份、数据恢复。该技术方案中的分块数据存储在多个子阵列节点，各子阵列节点只负责存储其相对应的数据，同时各子阵列节点在物理上相对隔离独立。通过算法生成的分块数据的索引数据将子阵列节点进行逻辑顺序、逻辑容量管理。各子阵列都具有一定的数据保护及恢复能力，可以有效降低数据失效率。

本专利提出的配置方式，子阵列节点可配置为不同的容量、不同的RAID级别（例如RAID0、RAID1、RAID5等），不同的子存储阵列节点都是按照数据数量的重要程度及规模大小的进行数据阵列的配置，因此可以保障服务器硬件配置的成本的优化，能够充分发挥出各个存储于多个子阵列节点的应用优势，从而有效的降低了数据失效风险，也实现成本的优化。

所述数据处理层还包括Meta Data服务器，该Meta Data服务器将索引数据备份记录。

本发明与现有技术相比所产生的有益效果是：

本发明的一种分布式数据存储管理方法针对不断增长的数据失效率风险的威胁而设计，通过数据分布管理，将原先存储在一个RAID阵列中的数据通分发到多个RAID阵列中，利用分布式的RAID存储阵列存储不断增长的用户数据，有效降低数据失效风险，降低数据恢复时间，并且便于存储容量的扩展，实现成本降低，节省大量维护成本。

附图说明

附图1是本发明的数据存储分层式示意图。

具体实施方式

下面结合附图对本发明的一种分布式数据存储管理方法作以下详细说明。

如附图1所示，该一种分布式数据存储管理方法，其由四部分组成，具体为：

数据源层：用户的应用程序产生数据来源。

数据处理层：包含EC算法控制端处理原始数据，Meta Data服务端备份索引数据。

数据传输层：通过SCSI/IP协议将分块处理过的原始数据、校验数据分发到各子存储阵列节点。

数据存储层：通过各子存储阵列节点分别存储接收到的相应数据块，完成数据存储保护。

其具体实现步骤为：

1、根据用户实际应用环境，即存储子阵列的数量、容量大小等存储类型生成相关算法参数。根据相关参数，配置修改控制服务器端数据处理层的erasure code（EC）算法处理分块算法。

2、在控制服务器数据源层即通过用户应用程序获得要存储的原始数据，通过EC算法处理，将原始数据处理为分块数据、校验数据及索引因数据。

3、算法设置冗余保护数量，例如可将原始数据分为M个数据分块，K个校验数据块，共N个数据块（M=N+K）。即可做到M中有任意N个数据块即可恢复原始数据，编码率为N/(N+M)。