[发明专利]一种基于云计算的大数据ETL交互式处理平台

摘要

本发明公开一种基于云计算的大数据ETL交互式处理平台，包括云端服务器、数据采集服务器、ETL服务器、数据库服务器、应用服务器、以太网交换机、光纤交换机、zoopkeer集群和Hadoop集群；ETL服务器到Hadoop集群的输出口采用sqoop，ETL服务器采用mapreduce into和mapreduce output两个接口与Hadoop集群进行交互，将处理数据输入到Hadoop集群上，Hadoop集群上的数据再抽取到ETL中。本发明将Hadoop集群和MapReduce运用到ETL的处理过程中，提高了ETL在处理海量数据存储、抽取等操作效率，达到一种优化构造数据仓库的目的。

主权项

1.一种基于云计算的大数据ETL交互式处理平台，其特征在于：包括云端服务器、数据采集服务器、ETL服务器、数据库服务器、应用服务器、以太网交换机、光纤交换机、Zoopkeer集群和Hadoop集群；所述云端服务器与数据采集服务器相连接，所述数据采集服务器与ETL服务器相连接，所述数据采集服务器与Zoopkeer集群相连接，所述ETL服务器与以太网交换机相连接，所述以太网交换机与数据库服务器相连接，所述数据库服务器与应用服务器相连接；所述ETL服务器与Hadoop集群相连接；所述ETL服务器到Hadoop集群的输出口采用Sqoop，所述ETL服务器采用MapReduce输入端和MapReduce输出端两个接口与Hadoop集群进行交互，ETL服务器将处理数据输入到Hadoop集群上，Hadoop集群上的数据再抽取到ETL服务器中；/n所述ETL服务器采用抽取数据之后先加载，再转换的方式处理，将数据转换过程在本地执行。/n