[发明专利]HBase表的Compact方法和装置在审
申请号: | 202111581252.4 | 申请日: | 2021-12-22 |
公开(公告)号: | CN114238340A | 公开(公告)日: | 2022-03-25 |
发明(设计)人: | 秦瑞 | 申请(专利权)人: | 上海中通吉网络技术有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/21 |
代理公司: | 北京细软智谷知识产权代理有限责任公司 11471 | 代理人: | 葛钟 |
地址: | 201799 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | hbase compact 方法 装置 | ||
1.一种HBase表的Compact方法,其特征在于,包括:
在预设Compact周期中确定Compact起始日期;
获取HBase表;所述HBase表的数量为多个;
按照预设排序规则对所有所述HBase表进行排序;
根据排序结果、所述Compact起始日期和预设分配规则确定所有所述HBase表的Compact日期;
根据所述HBase表的大小确定各Compact日期中各相邻所述HBase表的触发时间间隔;
根据所述触发时间间隔、所述排序结果和所述HBase表的Compact日期生成Compact配置表方案;
根据所述Compact配置表方案完成所述HBase表的Compact任务。
2.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述所述预设Compact周期为7天。
3.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述Compact起始日期根据用户的确定操作确定。
4.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述预设排序规则为:按照HBase表的大小从大到小降序排序。
5.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述根据排序结果、所述Compact起始日期和预设分配规则确定所有所述HBase表的Compact日期,包括:
S1、在未被分配的所述HBase表中确定排名最靠前的目标HBase表,并将所述目标HBase表分配至所述Compact周期中距离所述Compact起始日期最近的目标日期;所述距离所述Compact起始日期最近的目标日期包括所述Compact起始日期;
S2、重复步骤S1,直至所述Compact周期中每个日期均被分配一个HBase表;
重复步骤S1和S2,直至所有的HBase表被分配完毕。
6.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述根据所述HBase表的大小确定各Compact日期中各相邻所述HBase表的触发时间间隔,包括:
根据目标HBase表的大小确定所述目标HBase表Compact的时间;
将所述目标HBase表Compact的时间定义为所述目标HBase表与所述目标HBase表的下一个HBase表之间的触发时间间隔。
7.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述触发时间间隔小于8小时。
8.根据权利要求1所述的HBase表的Compact方法,其特征在于,所述Compact配置表方案中,定义排名越靠前的HBase表的Compact优先级越高。
9.一种HBase表的Compact装置,其特征在于,包括:
日期确定模块,用于在预设Compact周期中确定Compact起始日期;
获取模块,用于获取HBase表;所述HBase表的数量为多个;
排序模块,用于按照预设排序规则对所有所述HBase表进行排序;
分配模块,用于根据排序结果、所述Compact起始日期和预设分配规则确定所有所述HBase表的Compact日期;
确定时间间隔模块,用于根据所述HBase表的大小确定各Compact日期中各相邻所述HBase表的触发时间间隔;
方案生成模块,用于根据所述触发时间间隔、所述排序结果和所述HBase表的Compact日期生成Compact配置表方案;
执行模块,用于根据所述Compact配置表方案完成所述HBase表的Compact任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海中通吉网络技术有限公司,未经上海中通吉网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111581252.4/1.html,转载请声明来源钻瓜专利网。