[发明专利]一种数据存储方法及系统

说明书

技术领域

本发明属于计算机领域，尤其涉及一种数据存储方法及系统。

背景技术

随着互联网工程的推进，网络数据规模越来越大,网络数据内容不断朝着“高速化、海量化”的方向不断前进，并且随着数据量的提升，对这些宝贵的数据资源进行大数据分析逐渐地成为必然，但是传统的基于IP-SAN存储方案通过iSCSI协议将磁盘阵列挂载给前端服务器做标准磁盘,采用文件系统的方式进行非结构化数据的集中存储。在这种模式下,数据流需要经过转存服务器才能写入磁盘阵列,存在单点故障和性能瓶颈等问题。对于互联网数据通常要求7×24小时持续运行，面对多方数据的并发持续写入,基于普通的文件系统构建的存储系统将会产生大量的文件碎片,会导致随着时间的推移, 存储效率不断下降。因此，传统模式不能满足互联网高性能海量规模数据对存储系统的高可靠性、高性能、可扩展性和易管理等方面的需求。当今随着存储技术的发展,分布式云存储系统变得越来越重要,越来越多的互联网企业采用了分布式云存储方案来应对不断增高的性能，稳定性需求，互联网数据和传统数据如邮件、文件、图片、数据表等相比,有以下特点：(1)数据量大。随着互联网用户的不断增加，每个用户在云端上传的数据量越来越大，几乎一天就能产生PB级数据量,故互联网的存储系统必须满足大容量存储需求, 且要具有线性扩展的能力。(2)写密集。传统数据的读写符合二八定律,即20％的时间写数据，80％的时间读数据。互联网数据则不适用此规则，读写操作几乎占到了100％，即互联网数据的存储系统要在设计和实现上需要优先考虑如何同时提高读写入带宽。(3)7×24小时持续服务。传统数据一般遵循访问周期,可在访问量很少的情况下将系统停机下线进行维护和升级而不影响正常的商业活动。互联网数据不存在这样的周期，视频数据流持续不间断地涌向存储系统，任何的升级维护操作不能够影响输入数据的存储，必须动态地进行。互联网数据具有高并发、大容量的特点。通用文件系统如NTFS和Ext4 等并非针对互联网数据而设计,传统存储方案以文件来组织并存储视频流数据,存在以下两个问题:(1)以文件方式存互联网数据不能保证数据在磁盘上的存放是连续的,同时存储多个来源、大量非结构化数据对传统文件系统来说性能存在瓶颈，并随着系统长时间运行,文件被频繁地创建和删除,势必产生大量的磁盘碎片,使得在写连续的视频流时磁头需要频繁地移动，造成磁盘访问性能下降。(2)文件分片的长度决定了视频检索的精度，分片太小会产生海量的小文件，造成inode号不够用。

因此，急迫需要一种面对互联网数据的特点的数据存储方案，来解决读写效率以及存储问题。

发明内容

本发明提供一种数据存储方法及系统，以解决上述问题。

本发明提供一种数据存储方法。上述方法包括以下步骤：

接收前端接入的数据，创建所述数据的多级索引并创建所述数据的元数据，以及将所述元数据存储于多个元数据服务节点上；

将所述数据写入对象存储设备节点上，供访问。

本发明还提供一种数据存储系统，包括：索引创建单元、元数据服务节点、对象存储设备节点，其中，所述索引创建单元与所述元数据服务节点连接，所述对象存储设备节点与所述元数据服务节点连接；

索引创建单元，接收前端接入的数据，创建所述数据的多级索引；

元数据服务节点，创建所述数据的元数据，以及存储所述元数据；

对象存储设备节点，用于存储所述数据，供访问。

通过以下方案：接收前端接入的数据，创建数据的多级索引并创建数据的元数据，以及将元数据存储于多个元数据服务节点上，将数据写入对象存储设备节点上，供访问。基于元数据及存储数据分布式管理的方式，并将大量并发数据流随机写转化成大段的连续写，极大地提升了磁盘写入带宽，支撑大规模数据流的并发写入；其次，采用两级索引结构来管理数据元数据。两级索引结构设计极大地减少了状态监控管理器需要管理的元数据数量，消除了性能瓶颈，且可实现互联网数据的秒级检索。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的数据存储方法处理流程图；

图2所示为本发明实施例2的数据存储系统结构图；

图3所示为本发明实施例3的数据存储架构图；

图4所示为本发明实施例4的数据存储组织结构图；

图5所示为本发明实施例5的磁盘池结构图。