[发明专利]一种高效清理Hbase时序数据的方法、系统

说明书

一种高效清理Hbase时序数据的方法、系统，包括Hbase、Hbase一行记录的主键rowkey、分布式消息队列集群kafka、程序a、程序b和快速搜索引擎，包括时序数据的写入和时序数据的清理；写入时序数据的过程：程序a往Hbase里面写数据，生成时间与rowkey的记录，然后将该记录写到kafka上，程序b从kafka上读取该记录并写入快速搜索引擎；清理时序数据的过程：先从搜索引擎查出时间区间内的rowkey集合，根据rowkey集合精确删除hbase里的记录，再删除搜索引擎里该时间段内的记录。本发明解决清理时序数据时，耗时长的问题，实现高效清理时序数据的效果。

技术领域

本发明涉及Hbase数据处理领域，尤其涉及一种高效清理Hbase时序数据的方法、系统。

背景技术

Hbase是一个开源的、分布式、多版本。面向列储存模型的数据库，它采用key-Value格式来存储数据，rowkey是Hbase一行记录的主键，Hbase加载数据时，是根据rowkey的二进制顺序从小到大进行的。Hbase读取记录只能按照rowkey扫描，一次rowkey需要根据业务来设计以利用其存储排序特性提高性能。在存储时序数据的使用中，rowkey的设计往往不能满足各方面的要求，比如清理过期数据耗时太长而影响到线上业务的稳定性。

在现有技术中，清理过期数据，需要全表扫描rowkey中的时间部分，把符合条件的rowkey记录下来，然后进行批量处理。在数据量大的时候耗时太长，占用大量系统资源并且影响线上系统的稳定性。

发明内容

本发明的目的在于提出一种高效清理Hbase时序数据的方法、系统，以解决清理时序数据时，耗时长的问题，实现高效清理时序数据的效果。

为达此目的，本发明采用以下技术方案：

一种高效清理Hbase时序数据的方法，包括Hbase、Hbase一行记录的主键rowkey、分布式消息队列集群kafka、程序a、程序b和快速搜索引擎，包括时序数据写入的过程和清理时序数据的过程；

写入时序数据过程：

步骤一：所述程序a向所述Hbase写入数据并生成记录，该记录为所述rowkey和时间的对应关系，然后将这个记录写到所述kafka的消息队列中；

步骤二：在所述快速搜索引擎上创建索引，所述rowkey以时间做所述索引；

步骤三：监听所述kafka的所述程序b将所述kafka的消息队列中的记录提取出来并写到所述快速搜索引擎上，所述快速搜素引擎上将该记录以索引的形式存储；

清理时序数据的过程：

步骤A：从所述快速搜索引擎上查找出需要清理的时序数据的时间段，根据时间段查找出以这个时间段为索引的rowkey集合；

步骤B：将所述rowkey集合分成多个子集，根据所述rowkey集合的子集删除所述Hbase里的数据；

步骤C：遍历完整个所述rowkey集合，将所述rowkey集合里的所有子集在所述Hbase里的数据删除完；

步骤D：删除所述快速搜索引擎上的所述rowkey集合。