[发明专利]Hadoop数据仓库的自动导入数据方法及系统

权利要求书

1.一种Hadoop数据仓库的自动导入数据方法，其特征在于：

包括：

步骤一：搭载Hadoop数据仓库的服务器C预先配置用于从搭载关系型数据库的服务器A中获取数据的数据传输接口；

步骤二：搭载作业调度器的服务器B预先配置用于调用所述数据传输接口的调用命令以及执行该调用命令的执行周期；

步骤三：服务器B按照执行周期定期执行调用命令；

步骤四：服务器C从服务器A中获取数据并生成HDFS文件；

步骤五：服务器C将生成的HDFS文件导入至Hive数据仓库中。

2.根据权利要求1中所述的Hadoop数据仓库的自动导入数据方法，其特征在于：

所述步骤一具体包括：

服务器C预先配置数据传输接口的接口参数，该接口参数包括用于和服务器A建立连接关系的服务器A的数据库地址、数据库用户名和密码、服务器C的主机名以及用户名和密码，以及用于获取指定数据的数据筛选条件、表名以及列名。

3.根据权利要求1或2中所述的Hadoop数据仓库的自动导入数据方法，其特征在于：

所述步骤三和步骤四之间还包括：

步骤A：服务器B监控服务器A中HDFS文件的生成情况；

所述步骤四和步骤五之间还包括:

步骤B：服务器B在监控到服务器A中HDFS文件生成完毕后向服务器C发送将HDFS数据导入至Hive数据仓库的指令。

4.一种Hadoop数据仓库的自动导入数据系统，其特征在于：包括：

服务器A，用于搭载存储基础数据的关系型数据库；

服务器B，用于搭载作业调度器，用于预先配置调用所述数据传输接口的调用命令，以及按照执行周期定期执行调用命令；

服务器C，用于搭载Hadoop数据仓库，用于预先配置从搭载关系型数据库的服务器A中获取数据的数据传输接口，用于从服务器A中获取数据并生成HDFS文件，以及将生成的HDFS文件导入至Hive数据仓库中。

5.根据权利要求4中所述的Hadoop数据仓库的自动导入数据系统，其特征在于：

所述服务器B包括：

调用命令配置模块，用于输入数据传输接口的调用命令；

执行周期配置模块，用于配置执行调用指令的执行周期。

6.根据权利要求4中所述的Hadoop数据仓库的自动导入数据系统，其特征在于：

所述服务器C包括：

数据传输接口配置模块，用于配置数据传输接口；

HDFS文件生成模块，用于将获取的数据转化为HDFS文件；

Hive数据仓库导入模块，用于将生成的HDFS文件导入至Hive数据仓库中。

7.根据权利要求6中所述的Hadoop数据仓库的自动导入数据系统，其特征在于：

所述调用命令配置模块包括：

接口参数配置单元：用于配置数据传输接口的接口参数，接口参数包括数据筛选条件、服务器A的数据库地址、表名以及列名。

8.根据权利要求5中所述的Hadoop数据仓库的自动导入数据系统，其特征在于：

所述服务器B还包括：

HDFS文件监控模块：用于监控服务器C中HDFS文件的生成情况；

指令发送模块：用于向服务器C发送将HDFS数据导入至Hive数据仓库的指令。