[发明专利]一种基于模板的大数据组件WEB部署方法

说明书

一种基于模板的大数据组件WEB部署方法，本发明的思想是：解析模板，获取信息，安装组件。1)解析模板：通过入口找到相应的应用模板和组件模板；2)获取信息：主要对获取的Input信息进行初始化。有三种信息来源，一为后台固定的信息；二为按Java内部规则和算法自动分配的信息；三为页面能够输入的信息。3)安装组件：通过前两步获得的信息调用相应shell脚本进行组件安装。本发明属于大数据组件应用领域，特别是采用基于模板化安装结构，WEB跨系统平台操作，可视化监控进程技术，方便快捷地实现同时在多个节点上安装部署多个组件，简化开发人员的安装手续，为后期实现大数组作业提供基础环境。

技术领域

本发明属于大数据组件应用领域，特别是采用基于模板化安装结构，WEB跨系统平台操作，可视化监控进程技术，方便快捷地实现同时在多个节点上安装部署多个组件，目前包括Hadoop，HBase，Hive，Kafka和Zookeeper5个组件，目的简化开发人员的安装手续，为后期实现大数组作业提供基础环境。

背景技术

Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。近两年尤其是今年国内外采用MapReduce模型的应用也逐渐丰富起来，如像NTT KDDI和中国移动这类的电信公司采用该模型分析用户信息，优化网络配置；美国供电局采用该模型来分析电网现状；包括VISA和JP摩根在内的金融公司采用该模型来分析股票数据；包括Amazon和ebay在内的零售商和电子商务公司也开始采用该模型；甚至部分生物公司也采用该模型来进行DNA测序和分析[1]。

然而Hadoop安装、部署、管理的难度非常大，这使用很多用户对Hadoop望而却步，目前除了手动安装官网版本外，应用最广泛的就是Cloudera提供的Hadoop发布版本，这个版本是简化后的Hadoop，虽然在配置上比原版的要省去一些步骤，但还是存在需要手动设置SSH，更改Hadoop核心配置，而且需要在Linux系统中手动输入命令操作等问题。

这样一系列的操作一是比较耗时耗力，二是容易出错，为了有效解决这一问题，实现快速高效地部署和管理大规模的集群计算节点，本发明设计了基于模板的WEB跨平台操作方法，可实现模板化自动安装Hadoop组件，除此之外，还可选择一并安装其他组件，如HBase，Hive等，若后期如需增加新的组件，只需要增加新组建的安装脚本，在应用模板中进行调用即可，无需编写新的安装程序，方便扩展。

[1]http://blog.csdn.net/yangjl38/article/details/7620955

发明内容

本发明的目的是：提供一种通过WEB界面快速准确安装Hadoop，HBase，Hive等组件的方法，并且方便后期增加其他新的组件，为运行大数据作业提供基础环境。

本发明的思想是：解析模板，获取信息，安装组件。

1)解析模板：通过入口找到相应的应用模板和组件模板，解析其中的组件实例和依赖关系，并将解析出来的信息存放到内存中；

2)获取信息：主要对获取的Input信息进行初始化。有三种信息来源，一为后台固定的信息，如HADOOP_HOME，安装路径等；二为按Java内部规则和算法自动分配的信息，例如规定前5台机器安装HBase，安装Zookeeper需奇数个节点等；三为页面能够输入的信息，如安装地址，数据库的名称和地址等。

3)安装组件：通过前两步获得的信息调用相应shell脚本进行组件安装。