[发明专利]基于HBase的海量交易数据检索及系统

说明书

技术领域

本发明涉及检索技术，更为具体地，涉及基于HBase的海量交易数据检索技术。

背景技术

在银行卡组织的日常运营中，会存在一些交易上的问题，需要以秒级的速度检索出对应的交易报文信息，以便分析排查问题所在。

发明内容

有鉴于此，本发明提供基于HBase的海量交易数据检索方法。该方法包括a.接收用户通过查询界面输入的查询请求；b.将所接收的查询请求传送给HBase主节点；c.所述HBase主节点根据查询请求中的开始键与结束键所表征的范围，将所述查询请求发送到与该范围对应的区域的区域服务器；d.由该服务器基于该查询请求在所述交易数据中完成查询。

所述的基于HBase的海量交易数据检索方法，示例地，与所述区域的构建相关的行键按照预定格式设置，其中所述行键的两个最高字节是表示交易日期的日期域，且所述交易日期是对世界标准时间UTC取31模后的值。

所述的基于HBase的海量交易数据检索方法，示例地，所述行键中的条件域紧跟在表示小时的小时域之后，而所述小时域紧跟在所述日期域的后面。

所述的基于HBase的海量交易数据检索方法，示例地，还包括建立次级索引表，用于记录每笔交易报文的索引值与所述行键的映射关系，该映射关系是一一对应的关系，所述步骤d包括：d1.由该服务器基于该查询请求在所述次级索引表中基于每笔交易报文的索引值与所述行键的映射关系获得待查询数据在所述区域中的行键；d2.基于该行键，在所述交易数据中完成查询。

本发明还提供一种基于HBase的海量交易数据检索系统，所述系统包括：查询界面，用于用户输入查询请求；接收模块，其设置于HBase主节点，用于接收用户输入的查询请求；区域确定模块，其设置于所述HBase主节点，用于根据查询请求中的开始键与结束键所表征的范围，将所述查询请求发送到与该范围对应的区域的区域服务器；多个检索模块，分别设置在各区域服务器中，用于基于所述区域服务器所接收的查询请求在交易数据中完成查询。

基于HBase的海量交易数据检索系统，示例地，所述系统还包括设置模块，其用于将决定所述区域大小的行键按照预定格式设置，其中所述行键的两个最高位是表示交易日期的日期域，且所述交易日期是对世界标准时间UTC取31模后的值，所述行键中的条件域紧跟在表示小时的小时域之后，而所述小时域紧跟在所述日期域的后面。

基于HBase的海量交易数据检索系统，示例地，还包括索引表建立单元，其用于建立次级索引表，用于记录每笔交易报文的索引值与所述行键的映射关系，该映射关系是一一对应的关系，所述多个检索模块设置成由该服务器基于该查询请求在所述次级索引表中基于每笔交易报文的索引值与所述行键的映射关系获得待查询数据在所述区域中的行键，以及基于该行键，在所述交易数据中完成查询。

附图说明

图1是根据本发明示例的基于HBase的海量交易数据检索方法的流程图。

图2是根据本发明示例的HBase的集群环境示意图。

图3示出了文件、HBase次级索引表以及HBase报文日志表之间的关系。

图4是根据本发明示例的基于HBase的海量交易数据检索系统的结构示意图。

具体实施方式

现在参照附图描述本发明的示意性示例，相同的附图标号表示相同的元件。下文描述的各实施例有助于本领域技术人员透彻理解本发明，且意在示例而非限制。除非另有限定，文中使用的术语（包括科学、技术和行业术语）具有与本发明所属领域的技术人员普遍理解的含义相同的含义。

HBase全称为HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。有关HBase的基本介绍可在许多资料上获取，例如可参见http://baike.baidu.com/link?url=ZZH4mj7uoS2hd77AxZDszb0TW1cqt5u0_cmFOoraNCPjg1s-IPAaGxlDyDtca0pXbfDUfhPx45zxQBp1O_J54q上的介绍。