[发明专利]一种历史数据快速删除方法、装置、设备及介质

说明书

本发明提出了一种历史数据快速删除方法，包括：获取待删除历史数据的时间范围，根据待删除历史数据的时间范围确定待删除历史数据对应的行标识；根据待删除历史数据对应的行标识确定对应的分区标识；根据确定的分区标识删除分区标识对应的目录以及元数据信息，本发明还提出了一种历史数据快速删除装置、设备及介质，有效地提高了Hbase历史数据删除的效率，避免了对Hbase集群节点或Hbase系统实际业务的影响。

技术领域

本发明涉及数据存储领域，尤其是涉及一种历史数据快速删除方法、装置、设备及介质。

背景技术

Hadoop：Hadoop架构包含一个分布式文件系统HDFS(Hadoop Distributed FileSystem，分布式文件系统)和分布式计算框架MapReduce，目前是Apache社区的顶级项目。Hadoop具有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。

HBase：Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，是非常流行的一个分布式的、面向列的NoSQL数据库(非关系型的数据库)，是Apache社区的顶级开源项目，其应用场景主要是PB级海量数据的存储和高并发条件下固定条件的检索。

HBase使用RowKey(行标识)来唯一的区分某一行的数据。HBase只支持3种查询方式，基于RowKey的单行查询、基于RowKey的范围扫描和全表扫描；同时，Hbase删除数据也只支持删除指定rowkey的数据。

在生产环境中，随着数据量的不断增大，在现有的硬件配置下，给服务器造成很大压力，往往造成Hbase系统状态异常，根据业务需要，需要适当删除一定时期之前的所有数据，比如删除过去3年的历史数据。

目前解决的方法有：一种是调用Hbase系统的接口用Delete函数方法删除，提前需要根据Timestamp(时间戳)调用scan接口筛选出Rowkey集合，但是在海量数据的情况下，都需要消耗大量的CPU、内存和网络资源，严重影响实际业务；还有另外一种方式，根据Timestamp时间戳配置表的TTL(Time To Live，生存时间值)，这种方式，需要短时间disable(不使能)表，在实时分析场景容易丢数据，数据不能立刻删除，region(分区)并没有实际删除，需要经过长时间的合并，大量数据的合并会消耗Hbase集群大量的CPU、内存和网络资源，效率非常低，同时也会影响Hbase集群节点的稳定性。

发明内容

本发明为了解决现有技术中存在的问题，创新提出了一种历史数据快速删除方法、装置、设备及介质，有效解决由于现有技术造成Hbase历史数据删除速度慢的问题，有效地提高了Hbase历史数据删除的效率，避免了对Hbase集群节点或Hbase系统实际业务的影响。

本发明第一方面提供了一种历史数据快速删除方法，包括：

获取待删除历史数据的时间范围，根据待删除历史数据的时间范围确定待删除历史数据对应的行标识；

根据待删除历史数据对应的行标识确定对应的分区标识；

根据确定的分区标识删除分区标识对应的目录以及元数据信息。

可选地，根据待删除历史数据的时间范围确定待删除历史数据对应的行标识具体是：根据待删除历史数据的起始时间范围确定待删除历史数据对应的起始行标识，根据待删除历史数据的结束时间范围确定待删除历史数据对应的结束行标识。

进一步地，根据待删除历史数据对应的行标识确定对应的分区标识具体是：

根据待删除历史数据对应的起始行标识以及结束行标识确定待删除历史数据对应的行标识范围；

根据待删除历史数据对应的行标识范围确定对应隶属的分区名称；