[发明专利]一种负载均衡的方法和单元、分布式NewSQL数据库系统

说明书

本发明公开了一种均衡负载的方法，适用于分布式NewSQL数据库系统，包括Master单元、worker单元和Hbase单元；均衡负载的方法包括步骤：接收Hbase单元的数据分布信息，接收Master单元中的worker单元的负载信息；将worker单元的负载偏差值与预设负载偏差阈值进行比较，若判定负载偏差值超过阀值，触发Hbase单元将命中率较高服务器上的Region和命中率较低服务器上的Region进行从新分配；获取每一Region的数据量，将每一Region的数据量与预设数据量阈值进行判断，若判定Region的数据量超过阀值，触发Hbase单元将超过预设数据量阈值的Region切分成两个。本发明还提供一种均衡负载的单元和分布式NewSQL数据库系统。本发明动态平衡负载、动态调整数据，提高运行效率，充分利用服务器资源。

技术领域

本发明涉及大数据技术领域，尤其涉及一种负载均衡的方法和单元、分布式NewSQL数据库系统。

背景技术

目前Hbase是Hadoop生态体系中最著名的分布式NoSQL数据库之一。其设计理念来源于Google的Bigtable。Hbase主要组件包括HMaster和HRegionsever，为用户提供表格类型的数据模型，表按主键范围划分为多个region，HMaster负责管理和分配region，HRegionserver负责region数据的读写。HMaster会将表按主键范围划分为多个region，分配到HRegionserver。运行过程中，随着数据量的不断增加，热点数据会出现分配不均的情况，即只有一小部分HRegionserver在承担绝大所的访问，这样照成集群的处理能力下降及服务器资源的浪费。

发明内容

本发明实施例的目的是提供一种负载均衡的方法和单元、分布式NewSQL数据库系统，动态平衡负载、动态调整数据及索引分布，提高运行效率，充分利用服务器资源。

为实现上述目的，本发明实施例提供了一种均衡负载的方法，基于分布式NewSQL数据库系统，所述分布式NewSQL数据库系统包括Master单元、worker单元和Hbase单元，所述均衡负载的方法包括：

接收所述Hbase单元的数据分布信息，接收所述Master单元中的所述worker单元的负载信息，其中，所述负载信息包括所述worker单元的负载偏差值；

将所述worker单元的负载偏差值与预设负载偏差阈值进行比较，若判定所述负载偏差值超过阀值，触发所述Hbase单元将命中率较高服务器上的Region和命中率较低服务器上的Region进行从新分配；

获取每一Region的数据量，将每一所述Region的数据量与预设数据量阈值进行判断，若判定所述Region的数据量超过阀值，触发所述Hbase单元将超过预设数据量阈值的所述Region切分成两个。

进一步的，所述分布式NewSQL数据库还包括SQLPlaner单元，其中，

所述Master单元用于所接入的用户请求，并协调多个处理器之间的数据通讯以及管理整体流程，并将所述用户请求优先发送给SQLPlaner单元；

所述SQLPlaner单元用于解析所述用户请求，根据所述用户请求编译以及定制执行计划；

所述worker单元，用于并行地执行所述计划，以获得数据进行归并汇总以返回给Master单元。

进一步的，所述Hbase单元还包括coprocessor模块，其中，

所述coprocessor模块用于将命中率较高服务器上的Region和命中率较低服务器上的Region进行从新分配；

所述coprocessor模块还用于将超过预设数据量阀值的所述Region切分成两个。