[发明专利]HBase表的Compact方法和装置

说明书

本发明涉及一种HBase表的Compact方法和装置，该方法包括：在预设Compact周期中确定Compact起始日期；获取HBase表；所述HBase表的数量为多个；按照预设排序规则对所有所述HBase表进行排序；根据排序结果、所述Compact起始日期和预设分配规则确定所有所述HBase表的Compact日期；根据所述HBase表的大小确定各Compact日期中各相邻所述HBase表的触发时间间隔；根据所述触发时间间隔、所述排序结果和所述HBase表的Compact日期生成Compact配置表方案；根据所述Compact配置表方案完成所述HBase表的Compact任务。本实施例能够自动生成Compact配置表方案，以及根据所述Compact配置表方案完成所述HBase表的Compact任务，使得本实施例降低了人力成本，且提高了Compact效率。

技术领域

本发明涉及软件行业数据库技术领域，具体涉及一种HBase表的Compact方法和装置。

背景技术

HBase全称为Hadoop Database，是一个高可靠性、高性能、面向列和可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建的大规模结构化存储集群。在HBase中，每当有memstore数据flush到磁盘之后，就会形成一个storefile，当storefile的数量达到一定程度后，就需要将storefile文件来进行compact操作。compact的作用主要包括：合并文件，清除过期、多余版本的数据，以及提高数据读写的效率。其中，HBase中实现了两种compact的方式，分别为Minor和Major这两种。Major操作是对Region下的HStore下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。

目前，采用人工方式设置HBase的Major Compact表的Compact配置表方案，然后，根据Compact配置表方案对storefile文件执行Compact操作。该方法的具体过程包括：1、对于一张需要Compact的表A，人工计划进行时间，比如计划周一进行。2、在周一需要Compact的所有表中，人工决定表A的Compact顺序。如此，确定了表A的Compact方案。然而，相关技术存在人力成本高的问题。

发明内容

有鉴于此，提供一种HBase表的Compact方法和装置，以解决相关技术存在人力成本高的问题。

本发明采用如下技术方案：

第一方面，本发明提供了一种HBase表的Compact方法，包括：

在预设Compact周期中确定Compact起始日期；

获取HBase表；所述HBase表的数量为多个；

按照预设排序规则对所有所述HBase表进行排序；

根据排序结果、所述Compact起始日期和预设分配规则确定所有所述HBase表的Compact日期；

根据所述HBase表的大小确定各Compact日期中各相邻所述HBase表的触发时间间隔；

根据所述触发时间间隔、所述排序结果和所述HBase表的Compact日期生成Compact配置表方案；

根据所述Compact配置表方案完成所述HBase表的Compact任务。

优选的，所述所述预设Compact周期为7天。

优选的，所述Compact起始日期根据用户的确定操作确定。

优选的，所述预设排序规则为：按照HBase表的大小从大到小降序排序。

优选的，所述根据排序结果、所述Compact起始日期和预设分配规则确定所有所述HBase表的Compact日期，包括：