[发明专利]数据索引构建方法及装置有效
申请号: | 201610515000.4 | 申请日: | 2016-07-01 |
公开(公告)号: | CN107562762B | 公开(公告)日: | 2020-10-27 |
发明(设计)人: | 刘颖慧 | 申请(专利权)人: | 中国联合网络通信集团有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨文娟;刘芳 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 索引 构建 方法 装置 | ||
1.一种数据索引构建方法,其特征在于,包括:
获取各修饰符在历史查询请求中出现的次数;
遍历HBase数据表,确定所述次数超过预设阈值的各修饰符所在的数据行;
为各所述数据行建立索引,形成索引表;
所述遍历HBase数据表,确定所述次数超过预设阈值的各修饰符所在的数据行,包括:
将各修饰符对应的所述次数与预设阈值进行对比,获得所述次数超过所述预设阈值的修饰符;
遍历HBase数据表的每个数据行,筛选获得列簇中包含所述修饰符的数据行;
所述为各所述数据行建立索引,形成索引表,包括:
将各所述修饰符之间按照数量进行组合,生成修饰符组合类;
确定各所述数据行所属的修饰符组合类;
根据各所述数据行所属的修饰符组合类和各所述数据行的行键,为各所述数据行生成索引,并形成索引表。
2.根据权利要求1所述的方法,其特征在于,所述遍历HBase数据表,确定所述次数超过预设阈值的各修饰符所在的数据行之前,所述方法还包括:
获取所述历史查询请求中具有修饰符比较条件数量相同的查询请求的出现次数;
确定最大出现次数对应的修饰符比较条件的数量。
3.根据权利要求1所述的方法,其特征在于,所述根据各所述数据行所属的修饰符组合类和各所述数据行的行键,为各所述数据行生成索引,包括:
按照“修饰符组合类-修饰符组合-数据行行键”的格式为各所述数据行生成索引。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述为各所述数据行建立索引,形成索引表之后,还包括:
根据预设周期,定期更新所述索引表。
5.一种数据索引构建装置,其特征在于,包括:
第一获取模块,用于获取各修饰符在历史查询请求中出现的次数;
第一确定模块,用于遍历HBase数据表,确定所述次数超过预设阈值的各修饰符所在的数据行;
构建模块,用于为各所述数据行建立索引,形成索引表;
所述第一确定模块,具体用于:
将各修饰符对应的所述次数与预设阈值进行对比,获得所述次数超过所述预设阈值的修饰符;
遍历HBase数据表的每个数据行,筛选获得列簇中包含所述修饰符的数据行;
所述构建模块,包括:
处理子模块,用于将各所述修饰符之间按照数量进行组合,生成修饰符组合类;
确定子模块,用于确定各所述数据行所属的修饰符组合类;
构建子模块,用于根据各所述数据行所属的修饰符组合类和各所述数据行的行键,为各所述数据行生成索引,并形成索引表。
6.根据权利要求5所述的装置,其特征在于,所述装置,还包括:
第二获取模块,用于获取所述历史查询请求中具有修饰符比较条件数量相同的查询请求的出现次数;
第二确定模块,用于确定最大出现次数对应的修饰符比较条件的数量。
7.根据权利要求6所述的装置,其特征在于,所述构建子模块,具体用于:
按照“修饰符组合类-修饰符组合-数据行行键”的格式为各所述数据行生成索引。
8.根据权利要求5-7中任一项所述的装置,其特征在于,所述装置还包括:
更新模块,用于根据预设周期,定期更新索引列表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司,未经中国联合网络通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610515000.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置