[发明专利]一种适用于大数据集群的高效部署系统以及使用方法

说明书

技术领域

本发明涉及大数据应用及管理领域，具体涉及一种适用于大数据集群的高效部署系统以及使用方法。

背景技术

本世纪是信息技术高度发展的时代，尤其是近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈指数形式进行高速增长。数据的计量单位已经从传统的KB、MB、GB而迅速成长为TB和PB。时至今日，数据规模达到数百TB甚至数十PB或数百PB规模的行业或者企业已经出现，这些行业或者企业的数据处理需求已经不是传统计算机技术和信息系统的处理能力能进行处理的，为此，大数据的管理和应用方式的研究应运而生，寻求有效的大数据处理技术、方法、手段已经成为了现实世界的迫切需求。

在大数据的应用领域，HADOOP是技术人员熟悉的一个架构。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它实现了一个分布式文件系统HDFS，即Hadoop Distributed File System,HDFS有着高容错性的特点，能提供高吞吐量来访问应用程序的数据，适合拥有超大数据集的应用程序。其中，HADOOP的框架最核心的设计就是HDFS和MAPREDUCE。前者用于存储HADOOP集群中所有存储节点上的文件，作为存储的核心。而后者则为海量的数据提供了计算。用户可以依靠HADOOP这一分布式计算平台上开发和运行处理海量数据的应用程序。HADOOP由于其高可靠性、高扩展性、高有效性、高容错性和低成本而广受用户喜爱，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

在对HDOOP进行管理和监控的工程中，人们会选择使用Ambari工具。Ambari作为目前的主流工具，使用了多个先进开元技术如：puppet,jetty,ember,jsden,ruby,spring等。作为可视化的部署大数据组件，大大降低了大数据的管理难度，使用ambari部署已经成为了大数据领域的主流解决方案。

但是，ambari往往部署在linux环境下，面临着linux环境复杂，HADOOP生态圈版本繁多，部署的成本不断增加。

发明内容

本发明的目的是提供一种适用于大数据集群的高效部署系统以及使用方法，本系统可配合Ambari的自动化部署，连接linux部署环境、Ambari安装环境并进行一体化部署，快速提高Hadoop集群部署的效率。

本发明的上述技术目的是通过以下技术方案得以实现的：一种适用于大数据集群的高效部署系统，其特征在于：包含操作系统部署模块、架构部署模块和工具启动模块；

所述操作系统部署模块用于操作系统的环境部署，包含用于启动操作系统环境部署程序的启动模块、用于测试所述操作系统的环境是否合乎规则的测试模块和用于盘查操作系统直至合乎要求的盘查模块；

所述架构部署模块用于启动架构的环境部署程序；

所述工具启动模块用于启动集群供应、管理和监控的工具。

作为本发明的优选，所述操作系统环境部署模块部署的操作系统为linux操作系统。

作为本发明的优选，所述架构部署模块部署的架构为hadoop分布式系统架构，所述工具启动模块启动的集群管理工具为ambari工具。

作为本发明的优选，所述架构部署模块包含架构启动模块、架构测试模块。

作为本发明的优选，所述安装部署模块包含机器系统配置模块、集群节点配置模块和安装包下载模块；

所述集群节点配置模块用于基于云计算的平台安装合适的操作系统；

所述机器系统配置模块用于操作系统的参数改进。

作为本发明的优选，所述安装包下载模块包含用于将安装包下载到本地的操作系统安装包下载模块和架构安装包下载模块；所述操作系统安装包下载模块用于下载大数据在Linux环境下的安装包，所述架构安装包下载模块用于下载hadoop安装包。

作为本发明的优选，所述安装包下载模块还包含源配置模块，所述源配置模块将所述操作系统安装包下载模块和所述架构安装包下载模块所需要的源配置在本地环境中。

一种适用于大数据集群的高效部署系统的使用方法，包含如下步骤：

步骤1：安装部署步骤；

所述集群节点配置模块基于云计算的平台安装合适的操作系统；

所述机器系统配置模块用于操作系统的参数进行改进和设置；

安装包下载模块将操作系统和架构需要的安装包安装进本地；

步骤2：安装步骤；