[发明专利]一种CDH自动化自动安装的方法

说明书

一种CDH自动化自动安装的方法，首先通过python的paramiko连接需要连接的主机，然后生成hosts文件和ssh免密登录文件，将hosts文件和ssh免密登录文件通过paramiko的ftp将文件长传相应的目录实现集群的免密登录，然后在cmserver主机上安装本地仓库，生成yum仓库，然后在cmserver主机上安装mysql配置数据库，ntpd时间同步、jdk安装，cmserver安装操作；本发明实现了对CDH的自动化安装，应用于多台机器的CDH的集群安装，通过自动化脚本的实现可以大大缩减安装的时间，减少安装过程中的一些可能问题。

技术领域

本发明涉及大数据开发和运维，特别是实现大数据CDH自动化安装的方法。

背景技术

在企业大数据中，随着业务的不断开展，硬件配置的提升，和软件技术的提升，老的平台框架已经不能满足现有的业务需求了。Cloudera的CDH和Apache的Hadoop是大数据的两个主要平台，CDH指大数据平台Cloudera版本(Cloudera’s Distribution IncludingApache Hadoop，简称“CDH”)，基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop,简化了大数据平台的安装。

CDH相对于hadoop在兼容性，安全性，稳定性上都有增强，所以我们选择CDH作为主要大数据平台。而hadoop 3在相对于hadoop2有很大的提升，hadoop3的新特性主要有一下几点：(1)HDFS支持数据的擦除编码，相对于hadoop2能节省一半的存储空间

(2)Tasknative优化，对于shuffle密集型应用，其性能可提高约30％。

(3)Hadoop3.x中的MapReduce添加了Map输出collector的本地实现，对于shuffle密集型的作业来说，这将会有30％以上的性能提升。

(4)数据节点均衡器，hadoop3通过intra-DataNode平衡数据

(5)添加GPU资源的管理

(6)MapReduce内存参数自动推断，更好的利用集群资源

所以hadoop的升级无论性能和稳定性上都有很大的提升，应对现在的任务执行时间长不能及时的展示问题。

Python是面向对象、直译式程序设计语言，也是一种功能强大而且完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。这种语言具有非常清晰的语法特点，适合完成各种高层任务，几乎可以在所有的操作系统中运行。shell是一种命令语言，同时也可以看成是一个命令解释器，用于接收诸如awk、sed的命令调用等完成相关的功能。Python是一种编程语言，Python提供给程序员更大的自由度和灵活性，以完成shell所不能完成或者难于完成的编码任务，如实现面向对象的模块化设计、操作服务器数据库等等。paramiko是用python语言写的一个模块，遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接。由于使用的是python这样的能够跨平台运行的语言，所以所有python支持的平台，如Linux,Solaris,BSD,MacOS X,Windows等，paramiko都可以支持，因此，如果需要使用SSH从一个平台连接到另外一个平台，进行一系列的操作时，paramiko是最佳工具之一。

CDH安装过程需要在各个集群节点之间切换，比较繁琐，而且对于没有安装过集群的并不友好，CDH依赖较多的应用，而且国内对于cloudera网站的访问并不稳定，如果在安装的过程中失败可能需要重新安装。基于以上原因，编写了自动化脚本帮助安装CDH。

发明内容

本发明目的是，提出一种CDH自动化自动安装的方法，解决国内对于cloudera网站的访问并不稳定容易安装的过程中失败的问题，编写了自动化脚本帮助安装CDH。