[发明专利]一种Hbase与Hdfs之间的数据抽取转换方法及系统

权利要求书

1.一种Hbase与Hdfs之间的数据抽取转换方法，其特征在于，包括以下步骤：

获取待处理的数据表名及处理参数；

根据待处理的数据表名及处理参数对待处理的数据表进行处理；

将经过处理的数据表插入到Hdfs系统中。

2.根据权利要求1所述的Hbase与Hdfs之间的数据抽取转换方法，其特征在于，所述根据待处理的数据表名及处理参数对待处理的数据表进行处理具体为，根据待处理的数据表名及处理参数对待处理的数据表进行抽取或转换。

3.根据权利要求2所述的Hbase与Hdfs之间的数据抽取转换方法，其特征在于，所述处理参数为抽取参数或者合并参数。

4.根据权利要求3所述的Hbase与Hdfs之间的数据抽取转换方法，其特征在于，所述根据待处理的数据表名及处理参数对待处理的数据表进行抽取具体为：根据待处理的数据表名及抽取参数利用map函数进行抽取，并将抽取得到的数据表存入Hdfs系统中。

5.根据权利要求3所述的Hbase与Hdfs之间的数据抽取转换方法，其特征在于，所述根据待处理的数据表名及处理参数对待处理的数据表进行转换具体为：将抽取的数据表利用map函数进行切分，得到多个数据库块；将所有数据块传递给reduce函数进行合并处理，得到合并数据库块。

6.一种Hbase与Hdfs之间的数据抽取转换系统，其特征在于，包括获取模块(1)、处理模块(2)和插入模块(3)；

所述获取模块(1)，用于获取待处理的数据表名及处理参数；

所述处理模块(2)，用于根据待处理的数据表名及处理参数对待处理的数据表进行处理；

所述插入模块(3)，用于将经过处理的数据表插入到Hdfs系统中。

7.根据权利要求6所述的Hbase与Hdfs之间的数据抽取转换系统，其特征在于，所述处理模块(2)具体用于：根据待处理的数据表名及处理参数对待处理的数据表进行抽取或转换。

8.根据权利要求7所述的Hbase与Hdfs之间的数据抽取转换系统，其特征在于，所述处理参数为抽取参数或者合并参数。

9.根据权利要求8所述的Hbase与Hdfs之间的数据抽取转换系统，其特征在于，根据待处理的数据表名及处理参数对待处理的数据表进行抽取具体为：根据待处理的数据表名及抽取参数利用map函数进行抽取，并将抽取得到的数据表存入Hdfs系统中。

10.根据权利要求8所述的Hbase与Hdfs之间的数据抽取转换系统，其特征在于，根据待处理的数据表名及处理参数对待处理的数据表进行转换具体为：将抽取的数据表利用map函数进行切分，得到多个数据库块；将所有数据块传递给reduce函数进行合并处理，得到合并数据库块。