[发明专利]海量数据存储管理方法、装置及数据存储系统

说明书

技术领域

本发明涉及大数据存储领域，尤其涉及一种海量数据存储管理方法、装置及数据存储系统。

背景技术

“大数据”通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据,海量消息高效的存储和管理，是大数据发展的基石。只有各个业务系统输出的所有消息都得到正确存储，并且用户可以通过客户端/Web展示，获取，新建，保存，删除，查询消息，也可以进行目录操作(新建，更名，删除，选定)。

随着科技的发展，消息的格式越来越富媒体化(包括但不限于音频、视频、图片等)，而且数据量越来越大，传统的海量消息存储方式主要有两种：一种是以文件格式存储在DFS(Distributed File System，分布式文件系统)系统；另一种是直接将数据存储在数据库中。这两个存储方式对于海量消息的存储和管理各有利弊：海量数据存储在在DFS系统中，实施成本低，易于部署，但是磁盘IO比较高，容量和读写无法水平扩展，较难支撑高并发和热备份的要求；而海量数据存储在数据库系统中，数据读取很方便，但是对消息的大小存在限制，一个长消息需要拆分成一个或者多个短消息，管理难度高，且消息的附件(音频、视频、图片等)文件在数据库系统中无法存储，对于新业务的扩展存在限制。

针对上述问题，提出一种解决现有对所有海量数据均采用相同存储方式这一问题的海量数据存储管理方法，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种海量数据存储管理方法、装置及数据存储系统，以解决现有对所有海量数据均采用相同存储方式的问题。

本发明提供了一种海量数据存储管理方法，其包括：

接收待存储消息，标准化待存储消息的元数据；

将待存储消息存储到分布式文件系统，获取存储信息，将待存储消息的存储信息及元数据存储在数据库；

基于数据库中存储的待存储消息的存储信息及元数据，管理分布式文件系统中存储的消息。

进一步的，将待存储消息存储到分布式文件系统，获取存储信息包括：将待存储消息及其消息附件以文件格式存储在分布式文件系统，接收分布式文件系统返回的消息存储路径。

进一步的，在将待存储消息的存储信息及元数据存储在数据库之后，还包括：为待存储消息分配关键字值。

进一步的，管理分布式文件系统中存储的消息包括：基于关键字值，读取和/或老化对应消息。

进一步的，元数据包括数据大小；方法还包括：根据数据大小确定待存储消息为长消息，还是短消息；将长消息存储到分布式文件系统，将短消息直接存储在数据库。

本发明提供了一种海量数据存储管理装置，其包括：

通信模块，用于接收待存储消息，标准化待存储消息的元数据；

存储模块，用于将待存储消息存储到分布式文件系统，获取存储信息，将待存储消息的存储信息及元数据存储在数据库；

管理模块，用于基于数据库中存储的待存储消息的存储信息及元数据，管理分布式文件系统中存储的消息。

进一步的，存储模块用于包括：将待存储消息及其消息附件以文件格式存储在分布式文件系统，接收分布式文件系统返回的消息存储路径。

进一步的，存储模块在将待存储消息的存储信息及元数据存储在数据库之后，还用于为待存储消息分配关键字值。

进一步的，管理模块用于基于关键字值，读取和/或老化对应消息。

进一步的，元数据包括数据大小；存储模块还用于根据数据大小确定待存储消息为长消息，还是短消息；将长消息存储到分布式文件系统，将短消息直接存储在数据库。

本发明提供了一种数据存储系统，其包括：数据库、分布式文件系统，以及本发明提供的海量数据存储管理装置。

本发明的有益效果：

本发明提供了一种海量数据存储管理方法，在接收到待存储消息之后,针对所有消息进行元数据标准化之后，将其在DFS系统存储之后,将存储消息发送至数据库,这样,就可以在数据库中对存储在DFS系统的消息进行管理,同时还兼具了DFS存储及数据库存储的优点,解决了现有对所有海量数据均采用相同存储 方式的问题。

附图说明

图1为本发明第一实施例提供的海量数据存储管理装置的结构示意图；

图2为本发明第二实施例提供的海量数据存储管理方法的流程图；

图3为本发明第三实施例提供的数据存储系统组网示意图；

图4为本发明第三实施例中海量数据存储管理方法的流程图。

具体实施方式