[发明专利]一种kudu的基于大小的数据库数据均衡系统及实现方法

说明书

本发明公开了一种kudu的基于大小的数据库数据均衡系统及实现方法，属于数据库领域，本发明要解决的技术问题为如何实现kudu的基于大小的数据库数据均衡，采用的技术方案为：其结构包括数据均衡条件检测模块、待迁移Tablet选择模块和Tablet迁移执行模块，数据均衡条件检测模块用于检测是否执行数据均衡操作；待迁移Tablet选择模块用于选择出需要迁移的tablet以及迁移到的节点；Tablet迁移执行模块用于执行实际数据迁移。本发明还公开了一种kudu的基于大小的数据库数据均衡实现方法。

技术领域

本发明涉及数据库领域，具体地说是一种kudu的基于大小的数据库数据均衡系统及实现方法。

背景技术

Hadoop生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用户往往需要同时部署很多Hadoop工具来解决一个问题。比如，用户需要利用Hbase的快速插入、快读random access的特性来导入数据，同时用户使用HDFS/Parquet+Impala/Hive来对超大的数据集进行查询分析。很多公司都成功地部署了HDFS/Parquet+HBase混合架构，然而这种架构较为复杂，而且在维护上也十分困难，还会产生数据的延迟。海量结构化存储期望以一种简单的架构存储结构化数据，达到Hbase快速导入快速查询、Parquet超大数据分析的效果，同时解决数据延迟问题。

Kudu致力于到达以下目的：

(1)对数据扫描(scan)和随机访问(random access)同时具有高性能，简化用户复杂的混合架构；

(2)充分利用先进CPU与I/O资源；

(3)支持数据的原地更新，避免额外的数据处理、数据移动。

海量结构化存储在大数据仓库平台中用于存储结构化数据,定位于快速变化数据的快速分析型数据仓库，并在此基础上进行大数据分析、数据挖掘和机器学习等。

Kudu是一种分布式列式存储引擎，能支持快速数据的快速分析。Kudu的分布式集群架构采用主从架构，节点分为Master Server和Tablet Server节点。Master Server为各节点的管理者，Tablet Server为实际数据的存储节点。逻辑模型采取的是一种类关系数据模型，一个Table按照指定的主键分区规则拆封成若干个Tablet，当写入数据时数据会根据分区规则自动写入预先创建表时指定的Tablet Server中指定的Tablet中。在集群正常的情况下，已创建表的Tablet在各Tablet Server中的分布不会变化，这样随着数据的写入各Tablet Server的大小可能由于数据分布的原因存在失衡，这样会导致存储热点。

故如何实现kudu的基于大小的数据库数据均衡是目前急需解决的技术问题。

发明内容

本发明的技术任务是提供一种kudu的基于大小的数据库数据均衡系统及实现方法，来解决如何实现kudu的基于大小的数据库数据均衡的问题。

本发明的技术任务是按以下方式实现的，一种kudu的基于大小的数据库数据均衡系统，该系统包括，

数据均衡条件检测模块，用于检测是否执行数据均衡操作；

待迁移Tablet选择模块，用于选择出需要迁移的tablet以及迁移到的节点；

Tablet迁移执行模块，用于执行实际数据迁移。

作为优选，所述数据均衡条件检测模块的工作过程如下：

(一)判断是否存在正在执行的迁移任务：

a、若存在正在迁移的任务，则跳转至步骤(四)；

b、若没有正在执行的迁移任务，则执行步骤(二)；