[发明专利]基于HBASE的数据融合方法、装置、设备及计算机可读介质

说明书

本申请涉及一种基于HBASE的数据融合方法、装置、设备及计算机可读介质。该方法包括：获取待融合数据，待融合数据为多源异构数据；确定与待融合数据的数据类型匹配的数据接入模块；利用数据接入模块生成与待融合数据匹配的数据标识；将数据标识和待融合数据组成键值对，并将键值对存储于目标数据库中，目标数据库为分布式开源数据库。本申请集成和简化了多源异构数据的融合过程，能够降低数据融合的复杂度，提高数据融合的效率，同时，结合分布式搜索服务集群(Solr集群)，还实现了多条件实时查询。

技术领域

本申请涉及大数据技术领域，尤其涉及一种基于HBASE的数据融合方法、装置、设备及计算机可读介质。

背景技术

随着大数据时代的来临，各种各样的数据正源源不断的产生，同时数据与数据之间的内在联系随着数据量级的不断增加将更加难以挖掘与分析，形成“数据孤岛”。

目前，相关技术中的数据融合方案可通过SQL查询结构化数据实现，或者通过编写定制化的程序实现，例如通过SQL关联多张独立的表，从而达到数据融合的目的，或者编写相应的Spark/MapReduce程序融合多种数据，实现多种数据的融合与打通，但无论是SQL查询分析或定制化程序分析都需要有一定技术背景的专业人员才能进行，技术要求和复杂度高，这无形中提高了入门门槛，同时处理方式不够灵活多样且效率低下，而大数据背景下的数据往往具有实时性和综合性的要求，因此传统的数据融合方式并不能满足实际需求。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种基于HBASE的数据融合方法、装置、设备及计算机可读介质，以解决现有数据融合方案复杂度高，效率低的技术问题。

根据本申请实施例的一个方面，本申请提供了一种基于HBASE的数据融合方法，包括：获取待融合数据，待融合数据为多源异构数据；确定与待融合数据的数据类型匹配的数据接入模块；利用数据接入模块生成与待融合数据匹配的数据标识；将数据标识和待融合数据组成键值对，并将键值对存储于目标数据库中，目标数据库为分布式开源数据库。

可选地，确定与待融合数据的数据类型匹配的数据接入模块包括：在数据类型为结构化数据的情况下，调用结构化数据处理工具，数据接入模块包括结构化数据处理工具；在数据类型为半结构化数据的情况下，调用数据解析接口，数据接入模块包括数据解析接口；在数据类型为非结构化数据的情况下，调用元数据处理工具，数据接入模块包括元数据处理工具。

可选地，确定与待融合数据的数据类型匹配的数据接入模块之后，该方法还包括：调用数据仓库，数据仓库为目标对象创建的，用于将待融合数据转化为元数据后，存储于目标数据库中，元数据为存储有指示待融合数据的特征的数据；利用数据仓库提取待融合数据的数据特征；根据数据特征生成与待融合数据匹配的元数据。

可选地，利用数据接入模块生成与待融合数据匹配的数据标识包括：利用数据接入模块对待融合数据进行加密计算，得到数据标识。

可选地，将数据标识和待融合数据组成键值对，并将键值对存储于目标数据库之后，该方法还包括：为目标数据库中的数据标识创建索引，索引存储于分布式搜索服务集群中。

可选地，为目标数据库中的数据标识创建索引之后，该方法还包括：在接收到多条件查询语句的情况下，获取与多条件查询语句匹配的索引集合，索引集合中包括对应于多条件的多个索引；根据索引集合确定标识集合，标识集合中包括与索引集合中的各个索引匹配的数据标识；将与标识集合中的各个数据标识对应的待融合数据作为查询结果，返回至查询对象。

可选地，获取与多条件查询语句匹配的索引集合包括：对多条件查询语句进行预处理；将预处理后的多条件查询语句分割为输出块、数据表块及查询条件块；利用输出块、数据表块及查询条件块生成索引查询语句；根据索引查询语句得到索引集合。