[发明专利]基于Hbase散列概要森林对时序数据进行索引的方法

说明书

本发明公开了一种基于Hbase散列概要森林对时序数据进行索引的方法，包括以下步骤：(1)根据时间粒度建立每棵时间单元树；(2)求取每棵时间单元树的散列码，并将带有散列码的时间单元树组成基于Hbase的散列概要森林；(3)将采集的时序数据根据散列码插入到散列概要森林中；(4)根据时间范围查询读取存储的时序数据。本发明通过结合概要森林树形索引方案，提高时序数据聚合操作的查询速度，同时通过生成散列码为单元树提供散列索引，解决Hbase分布式存储时序数据产生热点问题。

技术领域

本发明涉及存储技术领域，具体涉及一种基于Hbase散列概要森林对时序数据进行索引的方法。

背景技术

时序数据为以时间序列索引的连续数据，随着计算机应用的普及，时序数据在各个领域也得到了广泛的应用。例如：随着金融领域与互联网的结合越来越紧密，金融领域大量的量化回撤操作对时序数据的聚合操作性能需求越来越大。例如：对期货中一个季度时间范围内的某种商品合约的市价、盘口价格或成交量等进行统计，进行求和或计算最大值等聚合操作。这样的应用场景在金融量化中出现频繁，并且由于数据量巨大，如何快速准确地计算t1～t2时间内的金融时序数据的聚合操作结果变得十分重要。

以对Au金属期货交易数据中一定时间范围内市价的求和操作为例：

Select SUM(Last Price)From‘Au’WHERE time>t1AND time<t2

在这样的应用场景下，必须支持在海量的时序数据中快速取得聚合操作结果。

传统关系型数据库主要采用物化视图或概要表的方式达到加速聚合查询的目的。物化视图是对涉及表连接的查询命令进行预处理，并将结果保存在视图表中，查询时直接取出预处理好的结果。概要表则是在写入数据的同时，计算并保存相应的概要信息，从而发生查询时，直接从概要表中查询并返回结果。此类方法提高了查询效率，但是缺点是增加了数据库的膨胀率。在NoSQL数据库中，一些数据库采用MapReduce和聚合管道的方式来处理这些聚合操作，其都是实时计算的代表，虽然没有增加数据库的膨胀率，但查询过程中产生了大量的磁盘和计算开销，低效耗时，无法满足即席查询的需求。一些NoSQL数据库将树型索引结构融合，提高了查询效率，减少了磁盘访问次数。

发明内容

鉴于上述，本发明提出了一种基于Hbase散列概要森林对时序数据进行索引的方法，通过建立树形索引加快了时序数据的查询时间，并通过散列码避免了时序数据在分布式数据库中顺序存储产生的空间分配不均的问题。

一种基于Hbase散列概要森林对时序数据进行索引的方法，包括以下步骤：

(1)根据时间粒度建立每棵时间单元树；

(2)求取每棵时间单元树的散列码，并将带有散列码的时间单元树组成基于Hbase的散列概要森林；

(3)将采集的时序数据根据散列码插入到散列概要森林中；

(4)根据时间范围查询读取存储的时序数据。

步骤(1)中，建立时间单元树的过程为：首先，预先确定时间单元树的时间粒度；然后以根节点开始进行递归，每次建立一个新的节点，接下来，递归建立此节点的左右孩子节点，当创建的节点超出预先计算的范围时停止递归，完成整棵树的建立过程。

在步骤(1)中，每棵时间单元树是一棵线段树，且包含一个固定时间粒度。通过控制每棵树的树高来控制时间粒度。线段树节点存储该节点范围的概要信息，主要包括：LBound、RBound、LNode、RNode以及Data；其中，LBound、RBound分别表示该节点包含时间范围的起始时间点和终止时间点；LNode、RNode分别表示该节点左孩子和右孩子节点包含时间点的中点；Data表示该节点存放的概要数据值，此时建立的时间单元树的每个节点的Data是空的。