[发明专利]一种基于HDFS海量数据快速导入HBase的方法

权利要求书

1.一种基于HDFS海量数据快速导入HBase的方法，其特征在于，包括以下步骤：

步骤1：从数据源提取数据并以流的方式上传到HDFS；

步骤2：用编程模型对数据进行筛选运算和处理，生成HBase的底层数据存储的文件HFile；

步骤3：判断HBase数据库中是否有HBase表；若没有，在HBase数据库建HBase表，并在建表时对所建的HBase表进行预分区，若有，执行步骤4；

步骤4：将文件在HDFS上的位置传递给区域服务器Region Servers，利用Region Server将数据导入到相应分区目录下，完成与HBase表的关联，实现数据导入。

2.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，步骤2的实现过程为：用编程模型Map Reduce作业准备数据，第一个作业运行业务处理逻辑，处理结果写入到HDFS上的中间目录下，第二个作业以第一个作业的输出作为输入，生成HBase的底层数据存储的文件HFile。

3.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，创建表时对表进行预分区，设置Reduce数等于分区数Region。

4.根据权利要求2所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，编程模型Map Reduce作业使用行键作为输出Key，KeyValue或者Put作为输出Value类型，当导入的数据有多列时使用Put，只有一个列时使用KeyValue。

5.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，分区时利用每个分区的端值startKey、endKey进行行键区间划分。

6.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，根据对象的行主键确定对象所述的区域服务器。

7.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，数据源包括文本文件或其他数据库。

8.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，建HBase表的同时建对应的索引表，将HBase表中涉及条件过滤的字段和行键在Solr搜索应用服务器中建立索引。

9.根据权利要求1所述的一种基于HDFS海量数据快速导入HBase的方法，其特征在于，通过Solr的多条件查询快速获得符合过滤条件的行键值，根据此行键关联HBase表行键，在HBase表的Region查找所需数据。