[发明专利]一种大数据集群自动化部署系统及方法

说明书

本发明公开了一种大数据集群自动化部署系统及方法，属于计算机软件大数据技术领域。本发明的大数据集群自动化部署系统，基于Ambari Blueprint和Ansible，由Vue.js与Flask构成前端配置交互界面，Ambari与Ansible构成后端服务自动安装的支撑，Jenkins实现任务调度与日志输出。该发明的大数据集群自动化部署系统能够显著提高大数据集群安装部署的速度，极大的简化大数据集群安装部署的流程，避免手动配置带来的诸多问题，具有很好的推广应用价值。

技术领域

本发明涉及计算机软件大数据技术领域，具体提供一种大数据集群自动化部署系统及方法。

背景技术

我们正处在一个数据爆发的时代，如何存储、分析处理各行各业产生的海量数据，深挖数据背后隐藏的价值，是各大互联网公司都在积极研究的问题。而Apache Hadoop及其生态圈软件(ZooKeeper、Hive、HBase、Spark等)为大数据技术的应用和发展奠定了基础。搭建一个用于存储、分析这些数据的基础平台，成为研究、应用大数据技术的首要环节。通过在多个主机上安装大数据服务组件构成集群，既是一种这样的基础平台。这种方式通常是在3、5个节点上手动安装软件、配置服务，或者通过手动编写shell脚本在多个节点上执行的方式搭建集群。在部署大规模集群时，这种方式往往是不现实的且效率低下。

因此，很多企业也以Hadoop开源版本为基础，开发了易配置、好部署、后期管理方便的大数据基础平台，业界知名的有Cloudera公司的CDH版本、Hortonworks公司的HDP版本。其中cloudera公司通过Cloudera Manager实现大数据集群的自动化部署与集群管理，而HortonWorks公司通过Ambari实现大数据服务的统一配置、自动化部署及集群管理等。虽然这种方式相较于传统的手动安装、脚本安装的方式，在便捷性、易用性等方面有了很大幅度的提升，但前置的准备工作(主机名修改、JDK安装、主机间的互信、防火墙设置、时间同步等等)仍然需要手动安装或配置，特别是部署大规模集群时，需要到每个节点上做一些前置的处理，工作量巨大且容易出错。

即使安装好Cloudera Manager或Ambari等部集群署管理工具，通过其页面向导进行基础服务的安装、配置项填写仍然需要复杂的多步操作，对于不熟悉大数据集群及其基础服务的人员来说，在安装过程中也极易碰到各种问题而导致集群部署失败。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够显著提高大数据集群安装部署的速度，极大的简化大数据集群安装部署的流程，避免手动配置带来的诸多问题的大数据集群自动化部署系统。

本发明进一步的技术任务是提供一种大数据集群自动化部署方法。

为实现上述目的，本发明提供了如下技术方案：

一种大数据集群自动化部署系统，该系统基于Ambari Blueprint和Ansible，由Vue.js与Flask构成前端配置交互界面，Ambari与Ansible构成后端服务自动安装的支撑，Jenkins实现任务调度与日志输出。

Ambari Blueprint是Ambari提供REST API，通过该API无需使用Ambari集群安装向导。

Ansible是一款简单的IT自动化工具，基于SSH协议实现远程服务器上的任务执行。

通过该大数据集群自动化部署系统实现大数据集群自动化部署方法，具体过程为：用户在一台服务器上拷贝上整个部署包，并执行初始化脚本，此时部署工具的WEB应用运行起来，开发人员在WEB界面填写主机的信息，选择所需的大数据基础服务，经过后端处理生成Ambari Blueprint所需的配置文件，同时生成Ansible所需的Inventory配置文件，同时触发Jenkins任务，并输出详细的日志信息至前端WEB界面，进行部署流程的监控。