[发明专利]一种HBase大批量数据删除方法、装置、电子设备和存储介质

说明书

本说明书一个或多个实施例提供一种HBase大批量数据删除方法、装置、电子设备和存储介质；所述包括：使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据；将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种HBase大批量数据删除方法、装置、电子设备和存储介质。

背景技术

HBase中批量删除数据的方式有很多种，最直接方式是调用HBase的接口用Delete方法插入数据，另外一种是用MapReduce的方式从HDFS上加载数据，调用TableOutputFormat类在Reduce中直接生成Delete对象写入HBase，但是在这两种方式中，都需要消耗大量的CPU和网络资源，导致效率低下。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种HBase大批量数据删除方法、装置、电子设备和存储介质，以解决HBase中批量删除数据效率低下的问题。

基于上述目的，本说明书一个或多个实施例提供了一种HBase大批量数据删除方法，包括：

使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据；

将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令。

在一些实施方式中，所述使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据，具体包括：

定义Map方法输入阶段和输出阶段的Key、Value类型；

设置HDFS文件路径；

对所述Map方法进行重写，定义数据删除逻辑；

根据所述数据删除逻辑筛选和封装所述待删除数据，选定操作类的类型；

将封装好的所述待删除数据回写。

在一些实施方式中，所述根据所述数据删除逻辑筛选和封装所述待删除数据，选定操作类的类型，具体包括：

将符合所述数据删除逻辑的所述待删除数据封装为KeyValue类的格式；所述KeyValue类的类型选为Delete。

在一些实施方式中，所述将封装好的所述待删除数据回写，具体包括：

将所述封装好的待删除数据以HFile形式存入所述HDFS文件路径，得到HFile文件。

在一些实施方式中，所述将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令，具体包括：

将所述HFile文件迁移到HBase集群，使用BulkLoad的方式将所述HFile文件导入所述HBase集群所在的HDFS上，执行删除命令。

基于同一发明构思，本说明书一个或多个实施例还提供了一种HBase数据删除装置，包括：

数据封装模块，被配置为，使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据；

命令执行模块，被配置为，将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令。

在一些实施方式中，所述使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据，具体包括：

定义Map方法输入阶段和输出阶段的Key、Value类型；

设置HDFS文件路径；