[发明专利]一种基于脚本自动化部署Hadoop和Spark集群的方法

权利要求书

1.一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：包括以下步骤：

S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；配置文件模板共有4个，分别是hdfs-site.xml模板、core-site.xml模板、mapred-site.xml模板、yarn-site.xml模板；参数配置文件包括多行template，parameter，value三元组、多行ip，hostname，role三元组、源文件安装路径、Hadoop账户密码；template，parameter，value三元组表示在template配置文件模板中，设置参数parameter的值为value；template的值是hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml其中之一；ip，hostname，role三元组表示某ip的计算机节点，主机名为hostname，在集群中作为某一功能节点role，role是NameNode、DataNode、Secondary NameNode中的其中之一；

脚本共包含两个：生成配置脚本、安装脚本；

生成配置脚本会自动对参数配置文件中template，parameter，value和ip，hostname，role进行正确性检查；如果在template，parameter，value和ip，hostname，role中出现配置错误，脚本会给予提示；

S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；生成配置脚本根据参数配置文件和4个配置文件模板，生成的5个实际可用配置文件，分别为hdfs-site.xml文件、core-site.xml文件、mapred-site.xml文件、yarn-site.xml文件、slaves文件；所述slaves文件是参数配置文件中ip，hostname，rolerole为DataNode的集合；

S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；配置节点间SSH无密码登录的流程包括：SSH密码登录各节点生成密钥对，对任一节点，复制其余各节点公钥，将其余各节点公钥添加到该节点的授权列表中；

脚本在执行过程中，会自动判断执行的任务是否成功完成；如果任务未能成功完成，则提示出错信息；

S4.用户测试Hadoop和Spark环境是否搭建成功。

2.根据权利要求1所述的一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：用来搭建Hadoop和Spark集群计算环境的所有计算机必须已经拥有“Hadoop”账户，且“Hadoop”账户必须具备管理员权限。

3.根据权利要求1所述的一种基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：用来搭建Hadoop和Spark集群计算环境的所有计算机必须已经安装openssh-client和openssh-server。

4.根据权利要求1所述的基于脚本自动化部署Hadoop和Spark集群的方法，其特征在于：脚本在执行过程中，会自动修改环境变量配置；脚本在执行过程中会修改/etc/profile全局配置和Hadoop用户的.bashrc配置，并自动刷新配置。