[发明专利]一种将数据同时导入多个Hadoop组件的方法

权利要求书

1.一种将数据同时导入多个Hadoop组件的方法，其特征在于，包括以下步骤：

步骤1：扩展Sqoop的import工具，增加到Kafka的导入服务；步骤1的实现过程包括：修改Sqoop的BaseSqoopTool类代码和ImportTool类代码，设计向Kafka导入数据的MapReduce任务，定义向Kakfa导入数据时的配置参数；

步骤2：根据数据库导入各个组件的配置参数，编写参数校验程序；步骤2的实现过程包括：定义向各个组件导入数据时的配置参数，并增加检测输入参数、记录输入参数、对参数进行校验的程序；

步骤3：扩展Sqoop的import工具，增加同时导出HDFS、Hive、Hbase、Kafka的服务；步骤3的实现过程包括：用户同时指定同时导出到多个Hadoop组件时，增加一个可选的命令参数，使得用户可以一条指令同时指定导出到多个Hadoop组件的配置参数，根据用户参数决定调用组件的接口，用户执行该条命令时，同时处理导出到各个目标组件的参数，然后从数据库中读取数据，并同时发送到多个目标组件。

2.根据权利要求1所述的一种将数据同时导入多个Hadoop组件的方法，其特征在于，向各个组件导入数据时设定的参数包括关系型数据库JDBC连接字符串、JDBC驱动程序类、设置包含身份验证密码的文件路径、数据库访问用户、用于提供连接参数的可选属性文件、Map函数相关参数、reduce函数相关参数。

3.根据权利要求1所述的一种将数据同时导入多个Hadoop组件的方法，其特征在于，Sqoop在import时，制定split-by参数，Sqoop根据不同的split-by参数值来进行切分，然后将切分出来的区域分配到不同Map中，每个Map中再处理数据库中获取的值写入HDFS、Hive、Hbase或Kafka中。

4.根据权利要求3所述的一种将数据同时导入多个Hadoop组件的方法，其特征在于，split-by根据不同的参数类型有不同的切分方法。

5.根据权利要求3所述的一种将数据同时导入多个Hadoop组件的方法，其特征在于，Sqoop import过程是Sqoop客户端利用数据库的驱动程序读取数据库中表结构，并生成运行类，Map处理获取的数据写入到Hadoop组件；具体步骤包括：a要对数据进行切分；b切分好范围后，写入范围；c读取步骤b的写入范围；d然后创建数据记录的读取器RecordReader从数据库中读取数据；创建Map；e RecordReader逐行从关系型数据库中读取数据交给Map，设置好Map的Key和Value；f运行Map，写入数据到不同组件。