[发明专利]面向HDFS的split内部索引方法和装置在审
申请号: | 201711023820.2 | 申请日: | 2017-10-27 |
公开(公告)号: | CN110019204A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 唐凌;林文辉 | 申请(专利权)人: | 航天信息股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F16/182 |
代理公司: | 北京润平知识产权代理有限公司 11283 | 代理人: | 金旭鹏;肖冰滨 |
地址: | 100195 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 索引 查询请求 索引属性 方法和装置 预先建立 非聚集 加载 接收查询 数据检索 数据扫描 索引确定 磁盘I/O 分块 查询 期望 | ||
1.一种面向HDFS的split内部索引方法,其特征在于,该方法包括:
接收查询请求;
根据所述查询请求确定索引属性;
根据所述索引属性的索引属性值通过预先建立的聚集索引或非聚集索引确定分块split;以及
加载所确定的split以获取与所述查询请求对应的数据。
2.根据权利要求1所述的方法,其特征在于,根据所述索引属性的索引属性值通过预先建立的聚集索引或非聚集索引确定split包括:
在所述索引属性仅包括一个属性的情况下,通过所述聚集索引确定split;以及
在所述索引属性包括多个属性的情况下,通过所述非聚集索引确定split。
3.根据权利要求1所述的方法,其特征在于,所述聚集索引的建立过程如下:
针对一个索引属性的索引属性值进行排序,并基于排序后的索引属性值建立聚集索引。
4.根据权利要求1所述的方法,其特征在于,所述非聚集索引的建立过程如下:
针对多个索引属性中的第一属性的索引属性值进行排序,并基于排序后的索引属性值建立聚集索引;以及
针对所述多个索引属性中的除了所述第一属性之外的其他属性建立非聚集索引。
5.根据权利要求4所述的方法,其特征在于,该方法还包括:
将根据所述查询请求所确定的索引属性的索引属性值的范围与所述非聚集索引中对应的索引属性的索引属性值的范围进行比较,判断是否有交集;
在存在交集的情况下,将索引属性值的交集部分对应的split的数据进行加载;以及
在不存在交集的情况下,将所述非聚集索引中对应的索引属性的索引属性值对应的split丢弃。
6.一种面向HDFS的split内部索引装置,其特征在于,该装置包括:
接收模块,用于接收查询请求;
处理模块,用于根据所述查询请求确定索引属性,并用于根据所述索引属性通过预先建立的聚集索引或非聚集索引确定分块split;以及
加载模块,用于加载所确定的split以获取与所述查询请求对应的数据。
7.根据权利要求6所述的装置,其特征在于,所述处理模块还用于:
在所述索引属性仅包括一个属性的情况下,通过所述聚集索引确定split;以及
在所述索引属性包括多个属性的情况下,通过所述非聚集索引确定split。
8.根据权利要求6所述的装置,其特征在于,所述聚集索引的建立过程如下:
针对一个索引属性的索引属性值进行排序,并基于排序后的索引属性值建立聚集索引。
9.根据权利要求6所述的装置,其特征在于,所述非聚集索引的建立过程如下:
针对多个索引属性中的第一属性的索引属性值进行排序,并基于排序后的索引属性值建立聚集索引;以及
针对所述多个索引属性中的除了所述第一属性之外的其他属性建立非聚集索引。
10.根据权利要求9所述的装置,其特征在于,所述处理模块还用于:将根据所述查询请求所确定的索引属性的索引属性值的范围与所述非聚集索引中对应的索引属性的索引属性值的范围进行比较,判断是否有交集;以及
所述加载模块还用于:在存在交集的情况下,将索引属性值的交集部分对应的split的数据进行加载;以及在不存在交集的情况下,将所述非聚集索引中对应的索引属性的索引属性值对应的split丢弃。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于航天信息股份有限公司,未经航天信息股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711023820.2/1.html,转载请声明来源钻瓜专利网。