[发明专利]一种关系型数据库迁移到HBase数据库的工具和方法

说明书

技术领域

本发明涉及数据库领域，尤其涉及的是一种关系型数据库迁移到HBase数据库的工具和方法。

背景技术

随着二十世纪网络带宽的提升以及互联网在全世界范围内的进一步普及，以Facebook、Twitter为代表的SNS社交应用平台和以淘宝、亚马逊为代表的电子商务类互联网应用的不断出现，标志着我们已经进入Web2.0时代。从开发者的角度而言，复杂的Web2.0应用意味着对应用本身的架构合理性、健壮性以及性能方面提出了更高的要求，如何在海量数据、高并发访问的情况下让数据库能够提供稳定、可靠的性能是当前Web2.0应用所要解决的重要问题之一。在无数的开发和研究之中，人们发现即使技术已经相当成熟的传统关系型数据库也已经很难解决这个问题，越来越多的开发人员已经试图抛开传统的关系型数据库转而从别的方向探索解决问题的方法。

在这样的技术研发背景下，NOSQL数据库便应运而生了。NOSQL是对非关系型数据库的这一类数据库的统称，其成员众多，诸如Cassandra以及MongoDB等轻量级的NOSQL数据库已经被广泛地运用于Web应用中，然而，随着HBase数据库被Facebook成功地用于构建实时系统，其已经成为目前最热门的NOSQL数据库。HBase是Hadoop项目所属的子项目，是Hadoop上的一个NOSQL数据库的实现，同时也是一个分布式的、面向列的开源数据库。可以说，HBase不仅拥有大部分NOSQL数据库所拥有的优点，而且由于能与Hadoop无缝集成，所以它提供了更为强大的可扩展性以及数据操作性能。当前，Facebook、Yahoo！、淘宝、eBay等这些顶级的Web服务供应商已经使用Hadoop成功部署了多个系统应用，在单个集群中所能成功部署的计算机节点已经多达4000台。

由于HBase数据库存在的巨大优势，越来越多的Web应用都开始尝试在其之上重新构建数据中心，如何将原先存储在普通关系型数据库中的数据迁移到HBase中成为了当前非常热门的问题。由于HBase中的表结构具有稀疏的特性，其结构同传统的关系型数据库有着很大的差异，因此在为应用程序设计数据库中所有表的结构和关系时也有许多不同之处，开发人员需要手工地重新设计HBase数据库中的表模式。然而，这个过程往往需要花费开发人员大量的时间和精力，而且当每次迁移新的数据库时，他们又不得不重复这些过程，因而浪费了许多功夫在这些重复性的工作上。

在2009年Apache开源社区发布的数据迁移工具Sqoop稍微减轻了开发人员的工作负担。Sqoop的主要作用是在结构化数据存储与Hadoop/HBase之间进行数据交换。但是Sqoop只能够在两类数据库中复制数据，只是完成了数据的迁移工作，并不能将数据库中的表模式也迁移到HBase中，然而表模式的迁移往往是整个迁移过程中最耗费时间和精力的，因而Sqoop所做的工作也有着很大的局限性。

而传统的开源ETL工具Kettle最近也加入了对HBase的支持。Kettle允许用户管理来自不同数据库的数据，通过提供一个图形化的用户环境来完成整个数据库移植的过程，因而有着良好的用户体验。但是，用其将关系数据库移植到HBase仍是相对繁琐的。在这个过程中，用户需要手动指定表与表之间以及数据类型的对应关系。其次，在转换过程中并没有考虑HBase灵活的表结构而只是将原有的表模式未经任何变换就复制过去，这样不仅没有利用到HBase的特性而且在以后数据查询的时候也会带来性能上的下降。因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种关系型数据库迁移到HBase数据库的工具和方法，旨在解决现有的HBase数据库的数据迁移方法需要花费开发人员大量的时间和精力的问题。

本发明的技术方案如下：

一种关系型数据库迁移到HBase数据库的工具，其包括解析器、表模式转换器、表模式适配器和数据表管理器，所述解析器用于解析由外部工具从传统关系数据库导出的表模式定义文档；所述表模式转换器用于把传统关系数据库中的表模式定义转换成HBase数据库中的表模式，支持前文中所提到的四种表变换的方式；所述表模式适配器用于保存、读取已经由表模式转换器所转换过的表模式定义到指定的文件中，并为其它模块查找新的表模式定义提供接口；所述数据表管理器用于把存储在传统关系数据库中的数据迁移到HBase数据库中对应新定义的表中。