[发明专利]一种针对海量数据分布式存储的方法

说明书

本发明公开了一种针对海量数据分布式存储的方法，包括以下步骤：S1、建立元数据服务器集群，包括多个元数据节点；S2、建立数据服务器集群，包括多个数据节点；S3、在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述；S4、当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；S5、建立客户端，用于发送数据对象的操作请求并接受数据内容。本发明借鉴参照虚拟化设计思路，搭建了一个虚拟化平台系统，更大地发挥所有物理机的计算和处理能力，提高CPU的利用率；将集群本身作为一种虚拟资源调度，利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活。

技术领域

本发明涉及数据存储技术领域，具体为一种针对海量数据分布式存储的方法。

背景技术

数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段；信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点；传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求。利用分布式存储系统代替集中储存方式，分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，也较容易扩展。但其仍有许多缺陷，例如，现有的基于Zookeeper(分布式的、开放源码的分布式应用程序协调服务)和HDFS(Hadoop Distributed FileSystem)的分布式存储系统维护不方便且容易数据丢失。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明为了克服以上传统存储的缺点提供一种针对海量数据分布式存储方法，使存储系统维护更加方便且不容易数据丢失。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种针对海量数据分布式存储的方法，包括以下步骤：

S1：建立元数据服务器集群，包括多个元数据节点；

S2：建立数据服务器集群，包括多个数据节点；

S3：在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述；

S4：当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；

S5：建立客户端，用于发送数据对象的操作请求并接受数据内容；

S6：建立集群存储池，用于操作客户端发送的数据对象。

优选的，S1中元数据节点的数量为10-30个。

优选的，S2中数据节点的数量为10-30个。

优选的，虚拟化节点，用于承担分布式存储集群内的计算工作。

优选的，通过客户端请求存储对象分布式存储系统对被存储文件进行条带化处理，分成若干块文件块。

优选的，被存储文件的若干文件块分别存储于分布式存储系统的若干存储节点。

优选的，分布式存储系统在存储每个被存储文件时，对该存储文件进行条带化处理。

优选的，被存储文件的文件块布置与若干存储节点后，再存储下一个被存储文件。

(三)有益效果

与现有技术相比，本发明提供了一种针对海量数据分布式存储的方法，具备以下有益效果：