[发明专利]一种HBase非主键索引的方法及HBase系统在审
| 申请号: | 201911350573.6 | 申请日: | 2019-12-24 |
| 公开(公告)号: | CN113032479A | 公开(公告)日: | 2021-06-25 |
| 发明(设计)人: | 李锋;刘海朋 | 申请(专利权)人: | 上海昂创信息技术有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/22 |
| 代理公司: | 上海宏京知识产权代理事务所(普通合伙) 31297 | 代理人: | 崔巍 |
| 地址: | 200433 上海市杨*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 hbase 主键 索引 方法 系统 | ||
1.一种HBase非主键索引的方法,其特征在于,所述方法包括以下步骤:
步骤1:构建基于HBase区域观察者模式的协议处理器的第一层索引;
步骤2:实现基于HBase区域观察者模式的协议处理器的第二层索引。
2.根据权利要求1所述的HBase非主键索引的方法,其特征在于,所述第一层索引步骤如下:
步骤1.1:通过区域观察者实例捕获客户端操作的钩子函数来查询索引;
步骤1.2:通过区域观察者模式的协议处理器为每个区域对象载入索引层来维护索引;
步骤1.3:采用d-left计数布隆过滤器表示电子数据的分布信息;
步骤1.4:通过d-left计数布隆过滤器确定每个区域对象中是否存储有目标电子数据;
步骤1.5:通过查询第一层索引快速定位存储了目标电子数据的相关区域对象,标识区域对象后传递给第二层索引。
3.根据权利要求1所述的HBase非主键索引的方法,其特征在于,所述第二层索引步骤如下:
步骤2.1:通过第二层索引在第一层索引定位的相关区域对象中继续查询目标电子数据;
步骤2.2:遍历所有的目标电子数据后将目标电子数据存储在HDFS上。
4.根据权利要求3所述的HBase非主键索引的方法,其特征在于:所述第二层索引对所有的电子数据创建倒排索引后存储在HDFS上。
5.根据权利要求1所述的HBase非主键索引的方法,其特征在于:所述第一层索引和第二层索引还包括在使用协处理器之前,将协处理器部署在HBase上。
6.一种HBase非主键索引的HBase系统,其特征在于,所述系统包括:
第一索引层:基于d-left计数布隆过滤器定位区域对象的电子数据,并且对区域对象进行标识后传递给第二索引层;
第二索引层:对标识区域对象的相关区域中的目标电子数据继续查询,并且将目标电子数据存储在HDFS上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海昂创信息技术有限公司,未经上海昂创信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911350573.6/1.html,转载请声明来源钻瓜专利网。





