[发明专利]自动化部署运维Hadoop生态圈组件的方法及系统

说明书

本发明公开了一种自动化部署运维Hadoop生态圈组件的方法及系统。该方法包括：选取一台主机作为主节点，剩余主机作为从节点；主节点上生成单节点配置功能脚本；根据单节点配置功能脚本生成单节点环境配置脚本；主节点上执行单节点环境配置脚本；主节点执行集群免密登录脚本；主节点调用远程分发脚本将单节点环境配置脚本分发到从节点上；主节点控制从节点执行单节点环境配置脚本；主节点调用yum源配置脚本；主节点执行部署安装脚本，主节点和从节点上安装Hadoop生态圈组件；主节点执行预置的管理启动脚本对Hadoop生态圈组件进行停止、启动和重启的管理操作。本发明通过自动化脚本代替人工部署配置，增加大规模部署Hadoop生态圈组件的效率，同时后期运维简单。

技术领域

本发明涉及计算机应用技术领域，更具体地，涉及一种自动化部署运维Hadoop生态圈组件的方法及系统。

背景技术

随着互联网大数据技术的不断应用普及，数据量正在呈指数级增长，大约每两年翻一番，这意味着在最近两年产生的数据量相较于之前产生的全部数据之和还要多，对于如此巨量数据与之相关的存储、分析、流转等等环节产生了一系列关联的问题，由此大数据平台应运而生。Hadoop已经成为目前大数据处理的数据平台的重要组成部分。随着业务量的增长和业务数据量的增长，在上百台甚至上千上万台集群规模下，需部署Hadoop的机器成千上万后，单纯依靠手动部署已经是不可能。当然目前也出现了很多自动化部署系统辅助部署，但是需要额外去购买部署，成本比较高。因此如何合理的规划和部署Hadoop集群、如何高效率使用维护Hadoop生态圈组件，就显得尤为重要。

因此，提供一种自动化部署运维Hadoop生态圈组件的方法及系统，实现集群内自动化部署运维Hadoop生态圈组件是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种自动化部署运维Hadoop生态圈组件的方法及系统，解决了集群内自动化部署运维Hadoop生态圈组件的技术问题。

为了解决上述技术问题，一方面，本发明提出一种自动化部署运维Hadoop生态圈组件的方法，包括：

选取集群中的一台主机作为主节点，所述集群内剩余主机作为从节点；

所述主节点调取预置的配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；

根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；

在所述主节点上执行所述单节点环境配置脚本，使所述主节点满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点的防火墙关闭；

所述主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；

所述主节点调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上；

所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点的防火墙关闭；

所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存；

所述单节点配置功能脚本包括yum源配置脚本，所述主节点调用所述yum源配置脚本，在所述主节点上配置yum源，采用HTTP方式向所述从节点共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；