[发明专利]一种基于HBase的大表join方法

权利要求书

1.一种基于HBase的大表join方法, 其特征在于内容包括1）对表中某列或某几列采用hashcode分桶；2）对各表的分桶数据进行均衡操作；3）实现分布式内存缓存技术，并重写HBase中的scan操作使之完成内存表和磁盘表的对比返回，其中：

1）对表中某列或某几列采用hashcode分桶，是将表数据按照某列或某几列的hashcode区分开来，然后采用该hashcode作为起始范围实现region预分区，join操作以region为单位并行进行，利用hbase自身的分区数据存储结构region实现表数据分桶，这样在实现分桶的同时，利用HBase分布式处理数据的能力；

2）采用region作为数据表中分桶单位，但HBase均衡各个regionserver节点region的数量不是针对各表的，而是节点中region的总数量，这样就必然导致单表的region在各个节点分布不均匀的情况出现，这样就必然导致单个节点计算量过大拖慢整个计算效率，通过重写HBase的LoadBalancer策略使得各个的region均匀分布到各个节点的regionserver中去；

3）实现分布式缓存机制，在join操作的过程中需要将其中一张表放入临时缓存中，以便改写后的scan函数完成两张表的对比join操作；分布式缓存机制采取根据分桶号以region为数据单位分布式存储的缓存机制，该机制利用分桶号将两表对应列存储到同一节点。

2.根据权利要求1所述的方法，其特征在于，利用HBase的region数据管理结构和keyvalue的数据存储结构特点，使得在HBase上快速完成大表的join操作，具体步骤如下:

(1)针对HBase数据管理单位region的结构特征，通过提前预分区技术和重新组织存入HBase中数据的rowkey方法，在HBase上实现分桶；

(2)针对HBase中的负载均衡机制并不针对单表，造成单个数据表的region在各个regionserver中分布不均匀，从而在join操作时产生木桶效应，通过重写HBase的负载均衡机制balance，使得单表的region均匀分布，提高计算效率；

(3)在HBase中引入分布式缓存机制，将一张表的数据分布缓存在集群的各个regionserver节点的内存中；

(4)重写scan接口完成两张数据表的特定列或几列的对比和返回数据的join操作。