[发明专利]HBase非主键索引构建与查询方法及其系统

说明书

本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括：在分布式内存和Hbase数据表上建立全局非主键索引；识别针对非主键属性的查询，依据所述全局非主键索引定位到相应的索引节点，并向含有结果集的所述索引节点发送查询请求。通过在分布式内存和Hbase数据表上建立全局非主键索引，以及在识别针对非主键属性的查询时，依据所述全局非主键索引定位到相应的索引节点，并向含有结果集的所述索引节点发送查询请求，保证不含有结果集的节点不参加查询，从而避免了现有技术中分布式非主键索引存在的性能浪费的问题。提高了HBase上大数据非主键属性的查询性能，实现了为HBase提供非主键属性上的实时查询的能力。

技术领域

本发明涉及数据库技术领域，具体而言，涉及一种HBase非主键索引构建与查询方法及其系统。

背景技术

HBase是一个面向列、高可靠、可扩展的分布式数据存储系统，数据以<key,value><键-值>的形式存储，其中key称为行键，相当于关系数据库中的主键。数据会按照行键的字节字典序有序地组织存储。HBase数据文件存储在Hadoop HDFS(Hadoop Distributed FileSystem，分布式文件系统)中，以提供良好的可扩展性和容错性。行键唯一地标识HBase的一行数据，每行数据可以有多个属性列，相关的列可以归到一个列簇。列簇是HBase存储的基本逻辑单元，一行数据中同一列簇的数据被连续存放，这就是HBase的列存储。在物理存储上，HBase表被横向分割为多个Region，Master服务器会将多个Region均衡地分配到不同的Region服务器上，并且管理Region的分裂和合并，数据的横向划分为HBase提供了良好的可扩展性。

目前，在HBase上检索数据的方法有如下三种：指定单个行键查询、指定行键的范围查询、以及扫描(Scan)。HBase以字节数组的字典序对行键进行排序，支持高效的指定行键的单点查询和指定行键范围的范围查询。而扫描操作主要用于对非主键数据列的查询，基于行键检索的时间复杂性是O(logN)，如果使用Bloom Filter甚至可以达到O(1)，而扫描操作的时间复杂性是O(N)。

随着在HBase系统上应用的驱动，人们发现单一的通过Rowkey检索数据的方式不能再满足更多应用的需求，人们希望像SQL一样检索数据，例如select*from table wherecol＝val。可是，HBase之前的定位是大表的存储，要进行这样的查询，往往是要通过类似Hive、Pig等系统进行全表的MapReduce计算，这种方式既浪费了机器的计算资源，又因高延迟使得应用黯然失色。所以在HBase的非主键属性上建立索引是迫切的需求。

HBase上的非主键查询采用扫描的方式，数据从头开始逐行扫描，依次检查每条记录的查询属性是否满足查询条件，将满足查询条件的结果集汇总返回。这种方式简单低效，难以满足大数据上的实时查询需求。所以，一些企业和研究小组陆续开发出了面向实际应用需求的HBase非主键索引，以提高HBase上非主键属性查询的效率。

总体来说，当前HBase非主键索引机制方案按照其基本逻辑结构分为两类：集中式非主键索引与分布式非主键索引。

集中式非主键索引是集中管理的，它们是传统单节点数据管理系统中索引结构的直观扩展，不需了解数据的真实分布情况。处理被索引字段上的检索请求的过程分为两个步骤：

首先在全局索引结构中定位含有结果集的数据节点；

然后访问相应的节点存取索引数据。

HBase-indexer是一个集中式的非主键索引方案。通过将HBase的更新数据异步发送到索引服务器上，在索引服务器上分析数据并生成对应索引数据，索引服务器会定期的将索引数据推送到SolrCloud服务集群上。查询则通过访问Solr服务来定位HBase上的内容。这种索引机制定期的对索引进行更新，索引的时效性稍差，在面向实时应用的时候，难以有效满足应用需求。