[发明专利]一种基于请求数的Hbase数据块分配方法及装置

说明书

技术领域

本发明属于数据存储技术领域，尤其涉及一种基于请求数的Hbase数据块分配方法及装置。

背景技术

Hbase(Hadoop Database)是一个分布式的、面向列的开源数据库，Hbase以表的形式存储数据，表由行和列组成，如表1所示：

表1

其中Row Key是用来检索记录的主键，访问Hbase表中的行，可以通过单个Row Key来访问，或者通过一个Row Key范围来访问，或者进行全表的扫描。Row Key可以是任意字符串，存储时，表中所有行都按照Row Key的字典序排序存储。Hbase表中每个列都归属于某个列族(Column family)，每个列族可以有多个列。

当Hbase表随着记录数不断增加而变大后，会逐渐分裂为多个数据块(region)，region是Hbase中分布式存储和负载均衡的最小单元，不同的region可以分布在不同的服务器上，但是一个region是不会拆分到多个服务器上的。

现有技术中Hbase具有三种负载均衡策略，分别如下：

简单负载均衡策略，将Hbase中所有的region平均分配到各个服务器上。

最优节点均衡策略，Hbase是基于hadoop的，一个region在hadoop上的数据一般都有多分(这个取决于hadoop备份份数的配置)。例如每个region对应三个最优节点，优先分配到第一优先级的服务器节点上，如果第一优先级服务器节点不存在，那么就会比较第二优先级和第三优先级服务器节点，哪个服务器节点上的region数少就分配到哪个服务器节点上。

随机均衡策略，首先计算整个服务器集群的权重，然后随机挑选出两对region和服务器，尝试移动两者之后，重新计算整个集群的权重，如果变小，那么确认移动，不然撤销。重复处理，直到满足配置的优化条件。

在实际使用中，很多数据的访问经常集中在某几个服务器的某几个region，而其他服务器经常处于空闲状态。而现有技术基本上注重在数据存储的负载均衡，好处就是各个服务器上存储的数据保持平均，不会出现各个服务器数据已经存满，而个别服务器存储空间还剩余很多的情况，总而言之，现有方案保证了数据的平均分布，没有考虑访问量。但是分布式系统中数据的访问及处理速度比存储空间的合理利用更加重要。

公开号为CN102508789A的中国发明专利申请公开了一种系统分级存储的方法，根据数据的重要性、访问频率、保留时间和性能指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，实现数据客体在存储设备之间的自动迁移。从而将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，以获得更好的性价比。然而该方法是应用到存储空间，将经常用到的数据越来越集中到性能高的存储空间，不涉及到服务器对数据的处理能力。显然该方法会进一步加剧频繁使用的数据所在的服务器的繁忙，因此并不能充分解决分布式系统中数据的访问及处理速度问题。

发明内容

本发明的目的是提供一种基于请求数的Hbase数据块分配方法及装置，主要是通过统计Hbase分布式存储系统中各个数据块服务器上数据块(region)的请求数来预测该数据块将来的访问量，然后通过将请求数比较集中的数据块分摊到比较空闲的服务器上，来达到均衡访问量的目的。

为了实现上述目的，本发明技术方案如下：

一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储系统，该方法包括步骤：

计算Hbase分布式存储系统中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储系统中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；

将移出数据块按照其请求数从大到小排序组成待分配数据块列表；

将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；

将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。

其中所述预设策略具体为：