[发明专利]一种数据导入HBase数据库的方法和装置

说明书

技术领域

本发明属于数据库处理技术领域，特别是一种数据导入HBase数据库的方法和装置。

背景技术

HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。

HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase是Apache的Hadoop项目的子项目。在云计算浪潮下，HBase已经承载了很多大数据系统的存储和查询的业务需求，且已经得到业界的广泛认同。在大数据处理领域有一个需求是把大数据批量导入到HBase数据库中，这个操作往往是在凌晨完成。

在现有技术中，读取HDFS文件，按行把数据转换成HBase能识别的Put对象，然后把一批Put对象放入内存中的ArrayList<Put>列表中，当这个列表达到设置的阈值时，调用HBase数据库的批量写入接口把该列表数据写入HBase数据库，完成后清空该列表。循环上述操作直到文件读取完毕。

然而，现有技术不能保证充分利用HBase数据库的分布式集群处理能力，如果从文件中连续读取的n行数据转换成HBase的n个Put对象后，n个Put全部落到HBase集群的一个区域服务器(RegionServer)上，则实际上此次操作没有利用到HBase集群的分布式特性，性能较差。只要n个Put没有尽量多的分布在不同的RegionServer上都会出现对HBase集群分布式特性利用不足的问题。

现有技术不能充分利用导入服务器的性能，在把一批Put对象写入HBase集群大量做网络交互时只是等待其完成，而没有利用这段时间继续组织一批新的Put对象列表。

现有技术没有完善的安全机制，例如没有统一的对输入流的管理规范，没有统一的对异常数据、异常连接等情况的处理方法，有可能导致导入过程中出现错误或者数据缺失。

发明内容

本发明实施方式提出一种数据导入HBase数据库的方法，充分利用HBase集群的分布式特性，从而提高服务端写入性能。

本发明实施方式提出一种一种数据导入HBase数据库的装置，充分利用HBase集群的分布式特性，从而提高服务端写入性能。

本发明实施方式的技术方案如下：

一种数据导入HBase数据库的方法，该方法包括：

利用输入输出IO流方式将各种类型的输入源数据整合为字符串，读取所述输入输出流以获取预定缓冲区大小的字符串；

将所读取的字符串转换为Put对象，根据所述Put对象的行主键确定该Put对象所属的区域服务器；从多张Put对象列表中确定所述Put对象被写入的选中Put对象列表，以在各个Put对象列表中都均匀分布有多个区域服务器，其中每张Put对象列表中分别包含有待存储Put对象与所属区域服务器之间的对应关系；

针对每个Put对象列表分别启动写任务，以将所述Put对象列表中待存储Put对象所对应的数据导入所述Put待存储对象所属的区域服务器。

所述利用IO流方式将各种类型的输入源数据整合为字符串包括下列中的至少一个：

利用IO流方式将文本文件数据整合为字符串；

利用IO流方式将Hadoop分布式文件系统文件整合为字符串；

利用IO流方式将网络源数据整合为字符串。

所述读取所述IO流以获取预定缓冲区大小的字符串包括：

采用while循环的方式读取所述IO流以获取预定缓冲区大小的字符串；该方法还包括：当所述while循环终止后，关闭所述IO流。

在将所读取的字符串转换为Put对象之前，该方法进一步包括：验证所读取的字符串是否符合预先设定的业务预期，如果是，则开始将所读取的字符串转换为Put对象；如果不是，则退出本流程。

所述针对每个Put对象列表分别启动写任务，以将Put对象列表中待存储Put对象所对应的数据导入所述待存储Put对象所属的区域服务器包括：