[发明专利]一种hadoop平台自动安装部署的方法及装置

说明书

技术领域

本发明涉及大数据领域，具体说的是一种hadoop平台自动安装部署的方法及装置。

背景技术

随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop做为解决大数据领域的重要技术手段，目前被广泛应用着。Hadoop产品最初由Apache基金会进行开源(下文统一称为Apache开源版)，该版本主要用于验证和学习目的，较少用于商用，目前主要安装部署方式是手工安装或者编写批量脚本安装。在Apache开源版基础上发展出一系列发行版，目前以cloudera、hortonworks这两个商业版本最为主流。Cloudera公司发行的hadoop开源版为CDH(全称Cloudera’s Distribution Including Apache Hadoop，下文统一称为CDH开源版)，可以通过cloudera公司自行开发的Cloudera Manager实现自动化安装部署；hortonworks公司发行的hadoop开源版本为HDP(全称Hortonworks Data Platform，下文统一称为HDP开源版)，可以通过该公司研发工具ambari实现自动化安装部署。目前这两个商业发行版本的安装工具和安装包彼此互不兼容。

针对Hadoop开源版，现有的部署方式大都采取手工安装软件包，手工编写各个服务配置文件并分发到集群每台主机，然后采用shell脚本进行启停。这种方式工作量繁重，当配置文件有变更时需要每台主机都修改分发，容易出错，一旦出现问题很难定位。而针对CDH开源版和HDP开源版，目前cloudera和hortonworks两个商业发行版都提供了各自的hadoop发行版本以及自动化安装管理工具，但两个自动化安装管理平台彼此互不兼容。Cloudera Manager仅可以针对CDH的软件包实现自动化安装部署；而ambari仅可以实现针对HDP软件包的自动化安装部署。

为了解决Apache开源版缺少自动化安装工具的现状、以及Cloudera Manager和Ambari开源版存在安装版本互不兼容的问题，本发明提供一种hadoop平台自动安装部署的方法及装置。

发明内容

本发明所要解决的技术问题是：提供一种hadoop平台自动安装部署的方法及装置，解决现有的Hadoop开源版无法实现自动化安装，而CDH开源版和HDP开源版虽能实现自动化安装，但是其安装管理平台彼此互不兼容问题。

为了解决上述技术问题，本发明采用的技术方案为：

一种hadoop平台自动安装部署的方法，包括：

S100：发布hadoop版本软件安装包，定制版本配置文件；

不同发行版和版本号的所述安装包按照目录层次结构存放在yum安装服务器中，版本号目录层下存放具体的hadoop服务的软件安装包；

不同发行版和版本号的hadoop版本配置文件按照目录层级结构组成配置列表信息后存放在大数据管理平台上，版本号目录层下存放有包括用于指向yum安装服务器对应hadoop服务的软件安装包源位置的repo安装源文件和hadoop服务目录列表，每个hadoop服务目录下包括服务运行所需的默认配置文件；

S200：运行大数据管理平台，加载所述配置列表信息；

S300：在大数据管理平台创建集群，在所述配置列表信息中选择所需的hadoop发行版本及版本号；

S400：将主机加入集群，自动分发步骤S300中选定的hadoop版本号对应的repo安装源文件至集群的各主机上；

S500：在选定的hadoop版本号对应的hadoop服务目录列表中选择各主机所需的hadoop服务，并将hadoop服务对应的Master和Slaver节点分配到各主机上；

S600：在所述服务的默认配置文件的基础上对所选的hadoop服务的必要参数进行配置；

S700：大数据管理平台根据重新配置后的服务配置文件生成包括安装启动任务信息的相关配置信息，将所述安装启动任务信息发送至各主机；

各主机根据所述repo安装源文件获取相对应的所述hadoop服务的软件安装包，并根据所述安装启动任务信息自动安装并启动各服务。

本发明提供的另一个技术方案为：

一种hadoop平台自动安装部署的装置，包括软件包发布模块、版本定制模块和运行在大数据管理平台中的配置加载模块、集群管理模块、第一选择模块、分发模块、第二选择模块、配置模块、生成模块和至少一个的主机，所述主机包括安装模块；