[发明专利]HBase数据清理方法及装置

说明书

本申请实施例提供一种HBase数据清理方法及装置，可用于大数据技术领域，方法包括：若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中。本申请能够有效降低HBase集群中主节点的运行压力，并能够提高HBase数据清理过程的可靠性及效率，提高HBase集群的整体性能及运行稳定性。

技术领域

本申请涉及数据处理技术领域，特别涉及大数据技术领域，具体涉及HBase数据清理方法及装置。

背景技术

分布式列式存储数据库HBase的体系结构主要包含主节点Master和从节点RegionServer两部分，在涉及对表进行增、删、改、查等操作时，需要主节点Master对外部请求进行管理和传递。

目前，对HBase进行数据清理方式主要为使用清理操作truncate对HBase进行清表处理，然而，由于主节点Master只有一主一备两个实例，无法进行扩容，因此，当使用清理操作truncate对HBase进行频繁清表操作时，易造成主节点Master的压力较大，进而影响HBase的整体性能。

发明内容

针对现有技术中的问题，本申请提供一种HBase数据清理方法及装置，能够有效降低HBase集群中主节点的运行压力，并能够提高HBase数据清理过程的可靠性及效率，提高HBase集群的整体性能及运行稳定性。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种HBase数据清理方法，包括：

若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；

自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中。

进一步地，在所述若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识之前，还包括：

将所述HBase集群当前的过期文件自动清理参数状态设置为可执行状态；

根据预先获取的数据表标识、列族名和超时阈值之间的对应关系，以及预先获取的建表配置信息，在所述HBase集群中创建添加有所述超时阈值的配置表。

进一步地，还包括：

获取针对所述HBase集群中数据表的写入请求，其中，该写入请求中包含有数据表标识、数据位置标识、写入数据及批次标识；

根据所述数据位置标识和写入数据，对所述数据表标识对应的数据表中的写入位置进行数据写入处理，并添加所述写入请求中的批次标识与所述写入数据之间的对应关系。

进一步地，还包括：

获取针对所述HBase集群中数据表的读取请求，其中，该读取请求中包含有数据表标识、数据位置标识及批次标识；

根据所述数据位置标识调取所述数据表标识对应的数据表中的读取位置的数据以供用户读取，并添加所述读取请求中的批次标识与所述读取位置之间的对应关系。

进一步地，还包括：

接收并存储HBase写入配置表，其中，该HBase写入配置表用于存储用户输入的数据表标识、数据位置标识、写入数据及批次标识之间的对应关系；

相对应的，所述获取针对所述HBase集群中数据表的写入请求，包括：