[发明专利]一种非结构化数据分布式存储方法及装置

权利要求书

1.一种非结构化数据分布式存储方法，其特征在于，包括：

提取待存储非结构化数据的元数据信息；

将所述待存储非结构化数据的元数据信息存储在ElasticSearch集群中，并生成所述待存储非结构化数据的元数据信息的ElasticSearch索引；

将所述待存储非结构化数据存储在HBASE MOB集群中，并生成所述待存储非结构化数据的行键；

建立所述待存储非结构化数据的元数据信息的ElasticSearch索引与行键之间的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述提取待存储非结构化数据的元数据信息，包括：

提取所述待存储非结构化数据的特征信息；

利用elasticsearch-analysis-ik对需要分词的特征信息进行分词；

将不需要分词的特征信息和分词后得到的特征信息确定为所述待存储非结构化数据的元数据信息。

3.根据权利要求1所述的方法，其特征在于，将所述待存储非结构化数据的元数据信息存储在ElasticSearch集群中，包括：

根据预设设定的分类规则，将所述待存储非结构化数据的元数据信息进行分类；

将分类完成之后的元数据信息分别存储到ElasticSearch集群中对应的元数据存储区。

4.根据权利要求1所述的方法，其特征在于，将所述待存储非结构化数据存储在HBASEMOB集群中，并生成所述待存储非结构化数据的行键，包括：

将所述待存储非结构化数据存储在HBASE MOB集群中的写区，并生成所述待存储非结构化数据在所述写区的行键；

将所述写区存储的所述待存储非结构化数据同步存储到HBASE MOB集群中的读区，并生成所述待存储非结构化数据在所述读区的行键。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

检测所述写区的非结构化数据是否满足自动备份规则；

将满足所述自动备份规则的目标非结构化数据从所述写区转移至HBASE MOB集群中的备份区，并生成所述目标非结构化数据在所述备份区的行键；

删除所述读区中的所述目标非结构化数据。

6.一种非结构化数据分布式存储装置，其特征在于，包括：

元数据提取单元，用于提取待存储非结构化数据的元数据信息；

元数据存储单元，用于将所述待存储非结构化数据的元数据信息存储在ElasticSearch集群中，并生成所述待存储非结构化数据的元数据信息的ElasticSearch索引；

原始文件存储单元，用于将所述待存储非结构化数据存储在HBASE MOB集群中，并生成所述待存储非结构化数据的行键；

映射关系建立单元，用于建立所述待存储非结构化数据的元数据信息的ElasticSearch索引与行键之间的映射关系。

7.根据权利要求6所述的装置，其特征在于，所述元数据提取单元，具体用于：

提取所述待存储非结构化数据的特征信息；

利用elasticsearch-analysis-ik对需要分词的特征信息进行分词；

将不需要分词的特征信息和分词后得到的特征信息确定为所述待存储非结构化数据的元数据信息。

8.根据权利要求6所述的装置，其特征在于，所述元数据存储单元，具体用于：

根据预设设定的分类规则，将所述待存储非结构化数据的元数据信息进行分类；

将分类完成之后的元数据信息分别存储到ElasticSearch集群中对应的元数据存储区。