[发明专利]一种将数据同时导入多个Hadoop组件的方法

说明书

本发明涉及一种将数据同时导入多个Hadoop组件的方法，其特征在于，包括以下步骤：步骤1：扩展Sqoop的import工具，增加到Kafka的导入服务；步骤2：根据数据库导入各个组件的配置参数，编写参数校验程序；步骤3：扩展Sqoop的import工具，增加同时导出HDFS、Hive、Hbase、Kafka的服务；在Sqoop原有的连接数据库并读取数据的基础上，增加了同时导出到多个组件的功能，通过一次读取数据库数据，同时启动多个用户指定的导出模块，实现高效便捷的数据导入，一方面避免了为同一批数据写多次导出任务，另一方面避免重复读取相同的数据，提高了效率。

技术领域

本发明属于大量数据的快速转移处理技术领域，具体涉及一种将数据同时导入多个Hadoop组件的方法。

背景技术

在社会快速发展的今天，各行各业每天都会产生大量的数据，数据来源囊括了我们周围可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。随着云提供商利用这个框架，更多的用户将数据集在Hadoop和传统数据库之间转移，能够帮助数据传输的工具变得更加重要。在这种环境下，Apache框架Hadoop应运而生，它是一个越来越通用的分布式计算环境，主要用来处理大数据。Apache Sqoop是一种数据转移工具，主要用于在Hadoop与传统数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到HDFS、Hive、Hbase中，也可将HDFS的数据导进到关系型数据库中。

Kafka是一种高吞吐量的分布式发布订阅消息系统。有时需要将数据从关系型数据库导入到Kafka，然而Sqoop作为一个数据转移工具，没有提供这方面的支持，同一批数据可能会被多项工作使用，而原本的Sqoop每次只支持一项任务，若想导出到多个Hadoop组件，需要单独再写命令，更重要的是要多次读取同一批数据。此为现有技术的不足之处。

发明内容

本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种将数据同时导入多个Hadoop组件的方法，以解决上述技术问题。

为了达到上述目的，本发明提供的技术方案是：

一种将数据同时导入多个Hadoop组件的方法，其特征在于，包括以下步骤：

步骤1：扩展Sqoop的import工具，增加到Kafka的导入服务；

步骤2：根据数据库导入各个组件的配置参数，编写参数校验程序；

步骤3：扩展Sqoop的import工具，增加同时导出到 HDFS、Hive、Hbase、Kafka的服务。

进一步的，步骤1的实现过程包括：修改Sqoop的BaseSqoopTool类代码和ImportTool类代码，设计向Kafka导入数据的MapReduce任务,定义向Kakfa导入数据时需要的参数。

进一步的，步骤2的实现过程包括：定义向各个组件导入数据时需要的参数，并增加检测输入参数、记录输入参数、对参数进行校验的程序。

进一步的，步骤3的实现过程包括：用户同时指定同时导出到多个Hadoop组件时，增加一个可选的命令参数，使得用户可以一条指令同时指定导出到多个Hadoop组件所需的参数，根据用户参数决定调用哪几个组件的接口，用户执行该条命令时，同时处理导出到各个目标组件所需的参数，然后从数据库中读取数据，并同时发送到多个目标组件。

向各个组件导入数据时需要的参数包括关系型数据库JDBC连接字符串、JDBC驱动程序类、设置包含身份验证密码的文件路径、数据库访问用户、用于提供连接参数的可选属性文件、Map函数相关参数、reduce函数相关参数。