[发明专利]一种避免Hbase数据热点的方法及系统

说明书

本发明适用于数据存储，提供了一种避免Hbase数据热点的方法，步骤包括：A，读取待存储数据，根据需要选取字段内容作为初始主键，然后用散列算法对初始主键进行处理得到主键值，对主键值进行均匀分段得到若干主键段；B，根据若干主键段确定用于分配主键段的若干区域，然后将若干主键段均匀分配至若干区域中；C，将得到的若干区域均匀分配至每一区域服务器中。本发明将Hbase的整个存储模式综合考虑，不仅仅要考虑Region的数量，更需要综合考虑Region的大小，相比现有的其他基于Hbase的避免热点的方法，本发明效果更为显著，对于Hbase的使用性能提升较大，大大提升了Hbase对大数据的处理存储能力，从根本上避免了Hbase数据热点的问题。

技术领域

本发明属于数据存储领域，尤其涉及一种新型的避免Hbase数据热点的方法及系统。

背景技术

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。如何利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判，是决定我们能否有效利用大数据这座“金矿”的重要基础。然而面对这种海量数据、高并发访问的情况，数据库能提供稳定、可靠的性能则是至关重要的。但传统的数据库的处理能力以及处理效率已经远远不能满足这种大数据的处理需求。

在这种技术背景下，面向大数据分析分布式的数据库应运而生。Hbase是Hadoop上的一个NoSQL数据库的实现，同时也是一个分布式的、面向列的开源数据库。它提供了强大的可扩展性和数据操作性能。

在Hbase中，仅能通过主键(rowkey)和主键的range(范围)来检索数据，仅支持单行事务，主要用来存储非结构化和半结构化的松散数据。

Hbase的数据存储模式如下：

1、Table(表)中的所有行都按照rowkey的字典序排列。

2、Table在行的方向上将rowkey分割为多段，每个Region(区域)即承载多段rowkey数据。

3、Region按大小分割的，每个表一开始只有一个Region，随着数据不断插入表，Region不断增大，当增大到一个阀值的时候，Region就会等分为两个新的Region。当table中的行不断增多，就会有越来越多的Region。

4、Region是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Region可以分布在不同的Region Server(区域服务器)上。但同一个Region是不会拆分到多个server(服务器)上的。在Hbase中由Master(主机)负责分配Region到各个不同的Region Server上，Region Server负责存储实际的数据。但如果Region Server上的负载不均衡或者每个Region Server中的服务请求数量不均衡,这些都将影响HBase的服务性能。

因此，如何避免Hbase数据热点策略不仅仅与Region Server的负载均衡有关，还与rowkey合理分段有关。