[发明专利]一种基于HBase的数据检索装置

说明书

本发明公开了一种基于HBase的数据检索装置，包括前端交互模块、检索处理模块和数据库同步模块，所述数据库同步模块对HBase数据库中的数据进行数据同步，同时在ElastieSearch搜索引擎中建立索引，并将同步后的数据保存索引中；所述前端交互模块在接收到检索请求后，将检索信息和筛选信息发送到检索处理模块；所述检索处理模块使用检索信息和筛选信息在索引中进行检索，并经由前端交互模块返回检索结果。本发明将HBase中变动的数据实时同步到ElasticSearch索引中进行存储，利用索引实现数据的灵活检索；通过对关键字匹配、语意检索、逻辑关系等检索策略，快速、准确的进行海量数据的检索。

技术领域

本发明涉及一种数据检索装置，尤其涉及一种基于HBase的数据检索装置。

背景技术

随着移动互联网技术的高速发展，尤其是智能移动终端的广泛普及，互联网相关企业的业务数据量呈现爆发式的增长。如何快速有效地处理这些数据，将其转化为有价值的信息，是亟需解决的问题。HBase(Hadoop Database)作为一个构建在HDFS(HadoopDistributed File System，Hadoop分布式文件系统)上，具有高可靠性、高性能、面向列、可伸缩等优秀特性的分布式存储系统，为数据的存储和处理提供了经济、高效、安全和可靠的保障，逐渐成为饱受海量数据困扰的企业存储数据首选的解决方案。

随着信息数据量的几何增长，HBase表数据量越来越大，对数据进行各个维度的统计的难度也随之变大。目前是通过写MapReduce或者使用Hive、Pig等工具的方法，这些方法均是对全表进行扫描，对集群性能消耗与网络带宽的占用较大，灵活性不够强，实时性不够强，在超大规模数据量的场景下不适用。仅仅靠升级物理硬件或者优化代码，已经不能适应信息的增长速度和信息处理效率的需求。

分布式数据的高效存储和查询显得越来越重要，Elasticsearch则是分布式系统中高效引擎系统，能实现数据存储和高效查询，现有的基于HBase和Elasticsearch的存储和查询已经具有较为成熟的方法，但各自存在一些优缺点：

1、MapReduce方案

MapReduce是一种可用于数据处理的编程框架。MapReduce可以通过分布式的原理，将HBase的数据批量、离线同步到elasticsearch中，Mapreduce需要通过对HBase表的扫描才能将数据同步到Elasticsearch中，因此HBase的每一次增删改查都需要运行Mapreduce来进行同步，。

2、HBase二级索引方案

在HBase创建表的时候，需要在同一个region server上创建索引表，且一一对应。在主表中插入某条数据后，用Coprocessor将索引列写到索引表中去。为了使主表和索引表在同一个region server上，要禁用索引表的自动和手动split(分裂)，只能由主表split的时候触发，当主表split的时候，对索引表按其对应数据进行划分，同时，对索引表的第二个daughter split的row key的前面部分修改为对应的主键的row key。HBase的二级索引需要深入理解HBase的后台机制原理，进行二次开发，不利于功能解耦。

发明内容

本发明要解决的技术问题是提供一种基于HBase的数据检索装置，解决上述问题。

本发明为解决上述技术问题而采用的技术方案是提供一种基于HBase的数据检索装置，包括前端交互模块、检索处理模块和数据库同步模块，所述数据库同步模块对HBase数据库中的数据进行数据同步，同时在ElastieSearch搜索引擎中建立索引，并将同步后的数据保存ElastieSearch索引中；所述前端交互模块在接收到检索请求后，将检索信息和筛选信息发送到检索处理模块；所述检索处理模块使用检索信息和筛选信息在ElastieSearch索引中进行检索，并经由前端交互模块返回检索结果。