[发明专利]数据均匀化方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据均匀化方法、装置、计算机设备及存储介质。所述方法包括：获取数据表的所有主键内容；根据Region的最大数据存储量和各主键内容对应的总数据量确定各主键内容对应的Region的个数；获取主键内容对应的RowKey数据集；自RowKey数据集中各RowKey中提取第一关键值后，根据第一关键值对主键内容对应的各个主键数据进行排序后得到序列值；根据主键内容对应的Region的个数以及序列值，自所有主键数据中，确定出与主键内容对应的各Region的边界范围；获取主键内容中的主键数据的第一关键值，并在确认第一关键值的大小在位于Region的边界范围之内时，将主键内容中与第一关键值对应的主键数据分配至该Region中进行存储。本发明可将数据表中的数据均匀化于各Region中。

技术领域

本发明涉及数据存储领域，尤其涉及一种数据均匀化方法、装置、计算机设备及存储介质。

背景技术

Region是HBase集群分布的最小单元，HBase会将每张业务表所拥有的Region分布在各个RegionServer上。一般情况下，一张业务数据表刚开始只有一个对应的Region,但随着业务数据表的数据量的增大，并在数据量达到阀值时，Region会继续分裂成多个Region，若在业务数据表的数据量处于较多的情况下，会造成每张业务数据表的数据在Region中出现数据分布不均匀的现象，也会对Region关联的RegionServer造成压力，从而影响到RegionServer关联的HBase的读写性能。并且频繁对Region进行分裂操作，也会大大占用HBase集群所在服务器的资源，从而也会影响到HBase的读写性能。因此，亟需寻找一种技术方案解决上述所提到的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种数据均匀化方法、装置、计算机设备及存储介质，用于将数据表中的数据均匀化于每一个Region中，进而提高Region对应的RegionServer的读写性能。

一种数据均匀化方法，包括：

将HBase集群中的Region的最大数据存储量设定为预设数据阈值；

接收对所述HBase集群中的数据表的数据均匀化指令，获取所述数据表的所有主键内容；其中，一个所述主键内容关联所述数据表的其中一类存储数据的总数据量；与所述主键内容对应的一类存储数据中包含至少一个主键数据；

根据所述预设数据阈值和每一个所述主键内容对应的所述总数据量确定所述数据表中与每一个所述主键内容对应的Region的个数；

利用预设Hash算法获取所述数据表中的每一个所述主键内容对应的RowKey数据集；所述RowKey数据集包括所述主键内容对应的每一个主键数据的RowKey；

自与所述主键内容对应的所述RowKey数据集中各所述RowKey中提取第一关键值后，根据所述第一关键值对所述主键内容对应的每一个主键数据进行排序，并获取排序之后的序列值；

根据所述主键内容对应的Region的个数以及所述序列值，自与所述主键内容对应的所有主键数据中，确定出与所述主键内容对应的每一个Region的两个边界元素，并通过与所述主键内容对应的每一个Region的两个所述边界元素确定该Region的前边界值和后边界值；所述前边界值和后边界值均为与所述边界元素对应的第一关键值；每一个Region的前边界值和后边界值之间的范围记录为该Region的边界范围；

获取所述主键内容对应的主键数据的所述第一关键值，在确认获取的所述第一关键值的大小在与所述主键内容对应的Region的边界范围之内时，将所述主键内容中与所述第一关键值对应的主键数据分配至该Region中进行存储。

一种数据均匀化装置，包括：

设定模块，用于将HBase集群中的Region的最大数据存储量设定为预设数据阈值；