[发明专利]一种非结构化数据分布式存储方法及装置

说明书

本发明提供了一种非结构化数据分布式存储方法及装置，可应用于分布式领域或金融领域，使用具有高扩展、实时存储以及检索功能的ElasticSearch存储非结构化数据的元数据信息，用来替代原来MySQL存储元数据的功能。使用高可靠、高性能、可伸缩的分布式存储系统HBASE MOB替代原来的集中式存储来管理非结构化数据，通过建立ElasticSearch索引与Hbase Mob行键的映射关系，实现对非结构化数据的高效分布式存储，便于后续实现对非结构化数据的高效检索、查看、修改、下载等功能。本发明通过ElasticSearch+HBASE MOB的存储方法，可以有效的解决当前存在的检索速度慢、存储效率低、扩容受限制、备份不容易等问题，提高非结构化数据存储的安全性、稳定性以及高效性。

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种非结构化数据分布式存储方法及装置。

背景技术

随着业务的快速发展，系统中的非结构化数据呈现出海量增长的趋势，并且在这些非结构化数据中以中小型文档、图片、压缩包等文件居多。目前对于非结构化数据的存储方法主要还是：采用MySQL等关系型数据库存储文件的元数据信息，采用集中式来存储原始文件，之后通过建立mysql与集中式存储的映射关系来实现文件的检索、查看、修改以及下载等功能。

但是，随着非结构化数据的不断增多，此种方法弊端逐渐显现出来，在数据量大的场景下该种存储方法存在检索效率、存储效率和存储性能较低等缺点，并且采用集中式方式存储文件会出现单点故障不易解决，容量空间扩容较难，数据备份机制不完善等问题，影响数据的安全性、稳定性以及高效性。

发明内容

有鉴于此，本发明提供了一种非结构化数据分布式存储方法及装置，实现对非结构化数据的高效分布式存储。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种非结构化数据分布式存储方法，包括：

提取待存储非结构化数据的元数据信息；

将所述待存储非结构化数据的元数据信息存储在ElasticSearch集群中，并生成所述待存储非结构化数据的元数据信息的ElasticSearch索引；

将所述待存储非结构化数据存储在HBASE MOB集群中，并生成所述待存储非结构化数据的行键；

建立所述待存储非结构化数据的元数据信息的ElasticSearch索引与行键之间的映射关系。

可选的，所述提取待存储非结构化数据的元数据信息，包括：

提取所述待存储非结构化数据的特征信息；

利用elasticsearch-analysis-ik对需要分词的特征信息进行分词；

将不需要分词的特征信息和分词后得到的特征信息确定为所述待存储非结构化数据的元数据信息。

可选的，将所述待存储非结构化数据的元数据信息存储在ElasticSearch集群中，包括：

根据预设设定的分类规则，将所述待存储非结构化数据的元数据信息进行分类；

将分类完成之后的元数据信息分别存储到ElasticSearch集群中对应的元数据存储区。

可选的，将所述待存储非结构化数据存储在HBASE MOB集群中，并生成所述待存储非结构化数据的行键，包括：

将所述待存储非结构化数据存储在HBASE MOB集群中的写区，并生成所述待存储非结构化数据在所述写区的行键；

将所述写区存储的所述待存储非结构化数据同步存储到HBASE MOB集群中的读区，并生成所述待存储非结构化数据在所述读区的行键。