[发明专利]数据存储及数据搜索方法和装置

权利要求书

1.一种数据存储方法，其特征在于，包括以下步骤：

S1：获取数据表中用于搜索的关键字段，将所述关键字段存储在ElasticSearch中，并将所述关键字段进行合并成字符串，计算出所述字符串的校验值，将所述校验值作为所述ElasticSearch的”_id”字段进行存储；

S2：将所述数据表对应的明细数据存放在HBase中，并将所述校验值作为所述HBase的rowkey；以及

S3：将文件以二进制流的方式存储在所述HBase中，或将文件存储在HDFS中并将所述文件的路径存储在所述HBase中，并将存储在所述HDFS中的所述文件的字段名加上标记，并记录在所述数据表中。

2.根据权利要求1所述的数据存储方法，其特征在于，在所述步骤S1中根据所述数据表中的具体业务问题分析应用场景，获取所述关键字段。

3.根据权利要求1所述的数据存储方法，其特征在于，所述校验值包括SHA-256值。

4.根据权利要求1所述的数据存储方法，其特征在于，所述步骤S2中所述HBase采用单列族的方式进行存储。

5.根据权利要求1所述的数据存储方法，其特征在于，所述步骤S3中所述文件为非结构化数据。

6.一种数据搜索方法，其特征在于，采用权利要求1-5中任一项所述的数据存储方法，包括以下步骤：

S4：通过所述ElasticSearch进行检索，并根据所述数据表的名称和所述”_id”字段在所述HBase中获取所述rowkey所对应的明细数据；

S5：检索到所述明细数据后遍历所述数据表的字段名，根据所述字段名读取存储在所述HBase或所述HDFS的所述文件。

7.根据权利要求6所述的数据搜索方法，其特征在于，获得所述字段名所对应的所述文件的路径，根据所述文件的路径获得在所述HDFS中的所述文件。

8.根据权利要求6所述的数据搜索方法，其特征在于，通过数据中台系统对所述数据表、所述明细数据和所述文件的接入源、存储方式及存放时间分别进行数据接入管理、数据存储分配管理以及数据生命周期管理。

9.根据权利要求8所述的数据搜索方法，其特征在于，所述数据中台系统进行数据管理以提供可视化数据查询和权限管理。

10.根据权利要求8所述的数据搜索方法，其特征在于，通过MySQL进行数据交互，并对所述数据中台系统的管理功能和负载历史进行存储。

11.根据权利要求10所述的数据搜索方法，其特征在于，通过所述数据中台系统对所述ElasticSearch、所述HBase、所述HDFS和所述MySQL进行服务器节点管理。

12.一种数据存储装置，包括：

关键字段存储模块，被配置为获取数据表中用于搜索的关键字段，将所述关键字段存储在ElasticSearch中，并将所述关键字段进行合并成字符串，计算出所述字符串的校验值，将所述校验值作为所述ElasticSearch的”_id”字段进行存储；

明细数据存储模块，被配置为将所述数据表对应的明细数据存放在HBase中，并将所述校验值作为所述HBase的rowkey；以及

文件存储模块，被配置为将文件以二进制流的方式存储在所述HBase中，或将文件存储在HDFS中并将所述文件的路径存储在所述HBase中，其中所述文件为非结构化数据。