[发明专利]一种基于脚本自动化部署Hadoop和Spark集群的方法

摘要

本发明涉及.一种基于脚本自动化部署Hadoop和Spark集群的方法，包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；S4.用户测试Hadoop和Spark环境是否搭建成功。

主权项

1.一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；配置文件模板共有4个，分别是hdfs‑site.xml模板、core‑site.xml模板、mapred‑site.xml模板、yarn‑site.xml模板；参数配置文件包括多行三元组、多行三元组、源文件安装路径、Hadoop账户密码；三元组表示在template配置文件模板中，设置参数parameter的值为value；template的值是hdfs‑site.xml、core‑site.xml、mapred‑site.xml、yarn‑site.xml其中之一；三元组表示某ip的计算机节点，主机名为hostname，在集群中作为某一功能节点role，role是NameNode、DataNode、Secondary NameNode中的其中之一；脚本共包含两个：生成配置脚本、安装脚本；S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；S4.用户测试Hadoop和Spark环境是否搭建成功。