[发明专利]一种数据导入HBase数据库的方法和装置

权利要求书

1.一种数据导入HBase数据库的方法，其特征在于，该方法包括：

利用输入输出IO流方式将各种类型的输入源数据整合为字符串，读取所述输入输出流以获取预定缓冲区大小的字符串；

将所读取的字符串转换为Put对象，根据所述Put对象的行主键确定该Put对象所属的区域服务器；从多张Put对象列表中确定所述Put对象被写入的选中Put对象列表，以在各个Put对象列表中都均匀分布有多个区域服务器，其中每张Put对象列表中分别包含有待存储Put对象与所属区域服务器之间的对应关系；

针对每个Put对象列表分别启动写任务，以将所述Put对象列表中待存储Put对象所对应的数据导入所述待存储Put对象所属的区域服务器。

2.根据权利要求1所述的数据导入HBase数据库的方法，其特征在于，所述利用IO流方式将各种类型的输入源数据整合为字符串包括下列中的至少一个：

利用IO流方式将文本文件数据整合为字符串；

利用IO流方式将Hadoop分布式文件系统文件整合为字符串；

利用IO流方式将网络源数据整合为字符串。

3.根据权利要求1所述的数据导入HBase数据库的方法，其特征在于，所述读取所述IO流以获取预定缓冲区大小的字符串包括：

采用while循环的方式读取所述IO流以获取预定缓冲区大小的字符串；该方法还包括：当所述while循环终止后，关闭所述IO流。

4.根据权利要求1所述的数据导入HBase数据库的方法，其特征在于，在将所读取的字符串转换为Put对象之前，该方法进一步包括：验证所读取的字符串是否符合预先设定的业务预期，如果是，则开始将所读取的字符串转换为Put对象；如果不是，则退出本流程。

5.根据权利要求1所述的数据导入HBase数据库的方法，其特征在于，所述针对每个Put对象列表分别启动写任务，以将Put对象列表中待存储Put对象所对应的数据导入所述待存储Put对象所属的区域服务器包括：

当Put对象列表中待存储Put对象数目达到预先设置的门限值时，启动对应于该Put对象列表的单独写任务，在单独写任务中处理所述Put对象列表，以将所述Put对象列表中待存储Put对象所对应的数据导入所述待存储Put对象所属的区域服务器，其中通过线程池维护各个Put对象列表的各自单独写任务。

6.根据权利要求1所述的数据导入HBase数据库的方法，其特征在于，该方法进一步包括：在出现异常时，执行下列操作中的至少一个：打印异常日志；发送报警邮件；发送报警短信。

7.一种数据导入HBase数据库的装置，其特征在于，包括输入流处理模块、数据处理模块和批量写HBase模块，其中：

输入流处理模块，用于利用输入输出IO流方式将各种类型的输入源数据整合为字符串，读取所述输入输出流以获取预定缓冲区大小的字符串；

数据处理模块，用于将所读取的字符串转换为Put对象，根据所述Put对象的行主键确定该Put对象所属的区域服务器；从多张Put对象列表中确定所述Put对象被写入的选中Put对象列表，以在各个Put对象列表中都均匀分布有多个区域服务器，其中每张Put对象列表中分别包含有待存储Put对象与所属区域服务器之间的对应关系；

批量写HBase模块，用于针对每个Put对象列表分别启动写任务，以将所述Put对象列表中待存储Put对象所对应的数据导入所述待存储Put对象所属的区域服务器。

8.根据权利要求7所述的数据导入HBase数据库的装置，其特征在于，输入流处理模块，用于处理下列中的至少一个：

利用IO流方式将文本文件数据整合为字符串；

利用IO流方式将Hadoop分布式文件系统文件整合为字符串；

利用IO流方式将网络源数据整合为字符串。

9.根据权利要求7所述的数据导入HBase数据库的装置，其特征在于，

输入流处理模块，用于采用while循环的方式读取所述IO流以获取预定缓冲区大小的字符串；还包括：当所述while循环终止后，关闭所述IO流。