[发明专利]一种高效清理Hbase时序数据的方法、系统

权利要求书

1.一种高效清理Hbase时序数据的方法，包括Hbase、Hbase一行记录的主键rowkey、分布式消息队列集群kafka、程序a、程序b和快速搜索引擎，其特征在于：包括时序数据写入的过程和清理时序数据的过程；

写入时序数据过程：

步骤一：所述程序a向所述Hbase写入数据并生成记录，该记录为所述rowkey和时间的对应关系，然后将这个记录写到所述kafka的消息队列中；

步骤二：在所述快速搜索引擎上创建索引，所述rowkey以时间做所述索引；

步骤三：监听所述kafka的所述程序b将所述kafka的消息队列中的记录提取出来并写到所述快速搜索引擎上，所述快速搜素引擎上将该记录以索引的形式存储；

清理时序数据的过程：

步骤A：从所述快速搜索引擎上查找出需要清理的时序数据的时间段，根据时间段查找出以这个时间段为索引的rowkey集合；

步骤B：将所述rowkey集合分成多个子集，根据所述rowkey集合的子集删除所述Hbase里的数据；

步骤C：遍历完整个所述rowkey集合，将所述rowkey集合里的所有子集在所述Hbase里的数据删除完；

步骤D：删除所述快速搜索引擎上的所述rowkey集合。

2.根据权利要求1所述一种高效清理Hbase时序数据的方法，其特征在于：

包括根据rowkey集合删除Hbase里的数据的过程：

步骤b1：所述快速搜索引擎根据所述rowkey集合向所述Hbase提出删除请求；

步骤b2：所述Hbase接收所述快速搜索引擎发出的删除请求，并根据所述rowkey集合查找到所述Hbase里的数据，然后删除数据；

步骤b3：所述Hbase删除数据后，向所述快速搜索引擎返回删除完毕的信息，所述快速搜索引擎接收到删除完毕的信息后，删除所述rowkey集合。

3.根据权利要求1所述一种高效清理时序数据的方法，其特征在于：

包括遍历整个rowkey集合的过程：

步骤C1：将整个所述rowkey集合分成多个子集，并进行遍历；

步骤C2：判断子集是否符合遍历条件，若是，则便删除所述Hbase里子集对应的数据；

步骤C3：整个所述rowkey集合遍历完成，删除整个所述rowkey集合。

4.一种高效清理Hbase时序数据方法的系统，包括Hbase、Hbase一行记录的主键rowkey、分布式消息队列集群kafka、程序a、程序b和快速搜索引擎，其特征在于：时序数据写入模块，用于写入时序数据；

所述程序a向所述Hbase写入数据并生成记录，该记录为所述rowkey和时间的对应关系，然后将这个记录写到所述kafka的消息队列中；

在所述快速搜索引擎上创建索引，所述rowkey以时间做所述索引；

监听所述kafka的所述程序b将所述kafka的消息队列中的记录提取出来并写到所述快速搜索引擎上，所述快速搜素引擎上将该记录以索引的形式存储；

时序数据清理模块，用于清理时序数据；

从所述快速搜索引擎上查找出需要清理的时序数据的时间段，根据时间段查找出以这个时间段为索引的rowkey集合；

将所述rowkey集合分成多个子集，根据所述rowkey集合的子集删除所述Hbase里的数据；

遍历完整个所述rowkey集合，将所述rowkey集合里的所有子集在所述Hbase里的数据删除完；

删除所述快速搜索引擎上的所述rowkey集合。

5.根据权利要求4所述一种高效清理Hbase时序数据方法的系统，其特征在于：包括删除Hbase里的数据模块，根据rowkey集合删除Hbase里的数据；

所述快速搜索引擎根据所述rowkey集合向所述Hbase提出删除请求；

所述Hbase接收所述快速搜索引擎发出的删除请求，并根据所述rowkey集合查找到所述Hbase里的数据，然后删除数据；

所述Hbase删除数据后，向所述快速搜索引擎返回删除完毕的信息，所述快速搜索引擎接收到删除完毕的信息后，删除所述rowkey集合。

6.根据权利要求4所述一种高效清理Hbase时序数据方法的系统，其特征在于：包括遍历模块，用于遍历rowkey集合；

将整个所述rowkey集合分成多个子集，并进行遍历；

判断子集是否符合遍历条件，若是，则便删除所述Hbase里子集对应的数据；

整个所述rowkey集合遍历完成，删除整个所述rowkey集合。