[发明专利]一种高效清理Hbase时序数据的方法、系统

摘要

一种高效清理Hbase时序数据的方法、系统，包括Hbase、Hbase一行记录的主键rowkey、分布式消息队列集群kafka、程序a、程序b和快速搜索引擎，包括时序数据的写入和时序数据的清理；写入时序数据的过程：程序a往Hbase里面写数据，生成时间与rowkey的记录，然后将该记录写到kafka上，程序b从kafka上读取该记录并写入快速搜索引擎；清理时序数据的过程：先从搜索引擎查出时间区间内的rowkey集合，根据rowkey集合精确删除hbase里的记录，再删除搜索引擎里该时间段内的记录。本发明解决清理时序数据时，耗时长的问题，实现高效清理时序数据的效果。

主权项

一种高效清理Hbase时序数据的方法，包括Hbase、Hbase一行记录的主键rowkey、分布式消息队列集群kafka、程序a、程序b和快速搜索引擎，其特征在于：包括时序数据写入的过程和清理时序数据的过程；写入时序数据过程：步骤一：所述程序a向所述Hbase写入数据并生成记录，该记录为所述rowkey和时间的对应关系，然后将这个记录写到所述kafka的消息队列中；步骤二：在所述快速搜索引擎上创建索引，所述rowkey以时间做所述索引；步骤三：监听所述kafka的所述程序b将所述kafka的消息队列中的记录提取出来并写到所述快速搜索引擎上，所述快速搜素引擎上将该记录以索引的形式存储；清理时序数据的过程：步骤A：从所述快速搜索引擎上查找出需要清理的时序数据的时间段，根据时间段查找出以这个时间段为索引的rowkey集合；步骤B：将所述rowkey集合分成多个子集，根据所述rowkey集合的子集删除所述Hbase里的数据；步骤C：遍历完整个所述rowkey集合，将所述rowkey集合里的所有子集在所述Hbase里的数据删除完；步骤D：删除所述快速搜索引擎上的所述rowkey集合。