[发明专利]一种海量数据分布式存储的方法

说明书

技术领域

本发明涉及一种海量数据分布式存储的方法。

背景技术

互联网技术的迅速发展、信息设备的普及、以及企业及个人对信息技术的 广泛应用促进了数据的大规模增长。如果说以前的数据主要是业务部门产生和 利用的话，如今则是全民制造和分享数据。数据正变得无处不在，并通过各种 可能的方式影响着企业业务和每个人的生活，社会进入了大数据(bigdata)时 代。

数据的疯狂增长，也使得传统的数据存储模型遭遇了新的挑战：磁盘容量 快速增加的同时，其访问速度并没有显著的提高，带来的直接后果是传统的数 据存储方式无法胜任互联网时代的海量数据处理任务，Google率先设计并实现 了一个新的分布式文件系统GFS(GoogleFileSystem)来解决了上述问题，继而 Apache发布了GFS的开源版本HDFS(HadoopDistributedFileSystem)。

HDFS是大数据分布式解决方案中非常优秀并且实用存储平台，可以从多 方面解决大数据存储的问题，但其具有一个先天性的缺陷，即数据安全性只能 通过增加副本的策略来保证。比如，假设每个结点出问题的概率为50％，则1 份源数据加2份副本数据的策略，整个平台出问题的概率为12.5％；再增加6 个副本，则该平台出问题的概率可以降为0.2％，但此时数据冗余度极大，将 浪费8倍于源数据的存储空间。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种海量数据分布式存储的 方法，既可以解决大数据访问的速度问题，又可以在一定程度上解决大数据低 冗余度与高安全性之间的矛盾。

本发明解决其技术问题所采用的技术方案是：一种海量数据分布式存储的 方法，将数据存储区分为data区、copy区和coding区，其中：data区用于 存储源数据；copy区用于存储副本数据，copy区与data区构成一个多副本完 全备份容灾系统；coding区用于和data区构成一个完整的信息关联容灾系统。

进一步地，所述多副本完全备份容灾系统是指：每次写数据时，首先将原 始数据写入data区，然后利用动态副本策略，系统自动进行数据复制，在copy 区写入数据副本。

更进一步地，data区和copy区的存储节点通过心跳机制定期向管理节点 报告自身状态，管理节点据此判断该存储节点是否正常工作，一旦管理节点接 收不到某一存储节点发送来的状态信息，就会判定该存储节点不能正常工作， 从而将该存储节点上的数据重新恢复到其他正常工作的存储节点上，确保整个 文件系统中数据维持特定的副本数。

更进一步地，所述多副本完全备份容灾系统在数据存储和复制过程中，管 理节点通过存储节点的状态信息，均衡地分配待存储的数据，使得原始数据的 多个副本存放在不同的物理节点上。

进一步地，所述信息关联容灾系统对coding区数据进行编码的方法是： 对一个存储节点的n个扇区，将每个扇区划分为n等份，每一份称为一个块； 要使系统能够容忍小于等于t/2个错误，则将每个扇区的前n－t块设置为信 息块，存储有效信息，后t块设置为校验块，存储校验信息；当有部分硬盘出 现故障时，系统使用余下的完好硬盘上对应扇区的数据译码恢复出故障硬盘扇 区上的有效数据，并且在整个编译码过程中仅需要异或操作。

进一步地，所述信息关联容灾系统能够在恢复错误的同时提供不间断的读 取服务：当系统中出现故障时，管理员用全新的硬盘替换错误的硬盘，并启动 数据恢复过程；之后当系统接收到数据读取请求时，则仅读取未出错的旧硬盘 上相应数据；在进行译码恢复数据并提供服务之后，重新编码得到丢失的部分 校验信息，并将存储于错误硬盘上的数据存储到新硬盘上。

进一步地，所述信息关联容灾系统能够在系统空闲一段时间后，单独进行 错误的恢复。

与现有技术相比，本发明的积极效果是：

本发明从大数据存储成本、效率和负载均衡的角度，提出并设计实现一种 基于数据信息关联策略和动态副本策略相结合的新方法，该方法可以在保证集 群数据安全性的同时，显著提高系统数据恢复的速度，优化系统的负载均衡能 力，降低系统整体的存储成本。

具体实施方式