[发明专利]减少Hbase热点的方法、装置及可读存储介质

说明书

本发明实施例提供的减少Hbase热点的方法、装置及可读存储介质，首先，检测Hbase表中各个region的请求数；接着，按照请求数大小对请求数大于预设请求数上限阈值的目标region进行排序；最后，按照请求数降序的方式依次将各目标region作为待处理的目标region进行分配处理，通过将待处理的目标region与该待处理的目标region在Hbase表中的相邻region先合并再等分的方式，将相邻region的请求数与待处理的目标region的请求数分配给等分后的region，上述方法使等分后的相邻region的请求数趋向均衡。相对于现有技术具有适应性强、兼容性好、分配效果优异的特点。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及一种对Hbase表的减少Hbase热点的方法、装置及可读存储介质。

背景技术

当Hbase表中的一个Region的数据量到达一定量的时候，Hbase会根据行键Rowkey将该region均匀的分为两个region。以此类推，当Hbase表的数据量越来越大时，region的数量也会越来越多。在region的数量到达一定量，而行键是自增的情况下，就会出现一种现象，即：实时数据在插入Hbase表的时候，由于行键是自增的，所以在一段时间内，数据的行键会集中出现在某一个或几个region的Start Key和End Key之间，这样就会导致这几个region的请求数非常高，从而可能会形成Hbase热点，其中，Hbase热点是指Hbase中region的请求数超过一定阈值的现象。region的请求数过高会影响Hbase表的性能，导致和Hbase表相关业务的性能下降甚至不可用。比如图1，当一个region的Start Key为7168897081，End Key为721617278306220564，并且此时行键的自增生成范围在区间[716889708100000000,721617278306220564]上，那么这段时间里，该region的请求数就会非常高，而其它region的请求数几乎为零。

发明内容

本发明的实施例描述一种减少Hbase热点的方法、装置及可读存储介质。

第一方面，本发明的实施例提供一种减少Hbase热点的方法，应用于Hbase表，所述Hbase表包括多个region，所述方法包括：

检测所述Hbase表中各个region的请求数；

将请求数大于预设请求数上限阈值的目标region按照请求数大小排序；

按照请求数降序的方式，依次将各目标region作为待处理的目标region，按照以下方式进行请求分配处理：

将待处理的目标region与所述Hbase表中该待处理的目标region相邻的region进行region大小比较；

将region大小差值较大的相邻region与该待处理的目标region进行合并；

将合并后得到的region进行分裂处理，得到大小相同的两个region，以使分裂后的两个region上的请求数趋于均衡。

可选地，所述将region大小差值较大的相邻region与该待处理的目标region进行合并，包括：

判断region大小差值较大的相邻region与该待处理的目标region之间的region大小差值是否大于预设的大小差值阈值；

在判定大于预设的大小差值阈值时，再将region大小差值较大的相邻region与待处理的目标region进行合并。

可选地，所述将请求数大于预设的上限阈值的目标region按照请求数大小排序，包括：

将请求数大于所述预设的上限阈值的目标region按照请求数从大到小的方式存入列表。