[发明专利]一种基于脚本自动化部署Hadoop和Spark集群的方法

说明书

本发明涉及.一种基于脚本自动化部署Hadoop和Spark集群的方法，包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；S4.用户测试Hadoop和Spark环境是否搭建成功。

技术领域

本发明涉及大数据技术领域，更具体地，涉及一种基于脚本自动化部署 Hadoop和Spark集群的方法。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的 (low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDF为海量的数据提供了存储，而 MapReduce为海量的数据提供了计算。

Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,and PeopleLab)开发，可用来构建大型的、低延迟的数据分析应用程序。Spark拥有 Hadoop、MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark是一种与Hadoop相似的开源集群计算环境，实际上Spark是对Hadoop 的补充，可以在通过名为Mesos的第三方集群框架在Hadoop文件系统中并行运行。

发明内容

本发明的主要目的在于提供一种基于脚本自动化部署Hadoop和Spark集群的方法，用来解决配置环境存在的费时费力的问题。

为实现以上发明目的，采用的技术方案是：

一种基于脚本自动化部署Hadoop和Spark集群的方法，包括以下步骤：

S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下。配置文件模板共有4个，分别是hdfs-site.xml模板、core-site.xml模板、mapred-site.xml模板、yarn-site.xml模板。参数配置文件包括多行 template,parameter,value三元组、多行ip,hostname,role三元组、源文件安装路径、Hadoop账户密码。template,parameter,value三元组表示在template配置文件模板中，设置参数parameter的值为value。template的值是hdfs-site.xml、 core-site.xml、mapred-site.xml、yarn-site.xml其中之一。ip,hostname,role三元组表示某ip的计算机节点，主机名为hostname，在集群中作为某一功能节点role， role是NameNode、DataNode、SecondaryNameNode中的其中之一。脚本共包含两个：生成配置脚本、安装脚本。

S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件。

S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置。