[发明专利]一种基于容器云技术快速搭建Hadoop集群的方法

说明书

技术领域

本发明涉及Hadoop集群的创建技术领域，特别是一种基于容器云技术快速搭建Hadoop集群的方法。

背景技术

目前，Hadoop集群通常是基于虚拟机或PC来进行搭建；在预先设定好集群的规模（包括主节点和从节点数量等）之后，需要根据预设的规模建立指定数量台虚拟机或购买指定数量台PC；建立好这些服务器之后，需要逐台安装操作系统，并安装搭建Hadoop集群所必要的JDK等服务，指定好每台服务器的主机名，配置好每两台服务器之间的SSH免密认证；最后，需要在主节点部署Hadoop，修改配置后，分发给集群中其余的每台服务器；完成这些步骤之后，才可以使用Hadoop的启动脚本启动集群。

江苏物联网研究发展中心公开的发明专利一种基于OpenStack的提供Hadoop服务的方法（CN104065716A）中，采用如下图所示的架构搭建Hadoop集群；该系统首先搭建基于OpenStack的云平台，并另外架设一个系统控制节点，当用户需要服务时，选择云平台中预装的计算环境及特定的配置，发送请求给系统控制节点，利用云平台虚拟化技术，架设虚拟主机，启动已经安装Hadoop的系统镜像，通过系统控制节点发送命令，上传配置文件，启动Hadoop服务，通过云平台内部网络交互消息，完成Hadoop平台的启动。

然而，由于厂商众多，发行版本众多，OpenStack有各种技术上的难点；首先，OpenStack在集成性、扩展性和稳定性上还远远不足；Nova、Swift、Cinder和Neutron分别使用各自的数据库存储配置信息，安装和升级均费时费力；

其次，OpenStack缺乏完整性；OpenStack只能提供计算、存储、网络三种云产品，如果基于OpenStack自助搭建Hadoop集群，需要打通OpenStack和Hadoop之间的账户、安全、管理运维和监控体系，流程复杂而繁琐；

再者，OpenStack不能提供端到端的服务保障；用户拿到手的只是散落的“框架”和组建，必须手工将多厂商、多版本的功能集成起来；

最后，OpenStack缺乏通用的基础版本；OpenStack目前可下载的厂商定制版有20多个，客户不清楚应该选择哪个版本，更不清楚如何根据自己的需求来在不同版本之间进行组合、混搭和迁移；以上这些缺陷导致了江苏物联网研究发展中心公开的这个发明专利在系统安装实施耗时较长，藕合性也较高，系统稳定性也无法保证，需要专门进行系统维护，或对OpenStack代码进行优化。

使用多台PC或物理服务器来搭建Hadoop集群，成本相对较高，资源利用率较低；使用虚拟机会提供整个虚拟化硬件层，但是使用成本也会显著提升，资源利用率同样不高；此外，使用PC或虚拟机搭建Hadoop集群后，若使用时破坏了集群环境，很难立即发现问题；发现环境被破坏后，需要将被破坏的单台或多台服务器或虚拟机的环境进行重建，处理的及时性得不到保证。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种基于容器云技术快速搭建Hadoop集群的方法。

为了解决以上技术问题，本发明提供一种基于容器云技术快速搭建Hadoop集群的方法，包括如下具体步骤：

根据实际需要确定选用的物理服务器数量，将这些选取好的物理服务器整体看做一个集群，指定该集群的master节点，并分配实际部署节点，即作为slave节点；

为集群中的每台物理服务器安装CentOS7操作系统；

在该集群的每个master节点上采用yum install命令安装并启动容器编排服务Kubernetes和网络服务Flannel；

在预先分配好的master节点上安装MySQL数据库、镜像仓库服务及管理门户；

使用管理员账户登录管理门户界面，建立用户；使用建立的用户登录管理门户，创建该用户的集群环境并搭建Hadoop集群。

技术效果：相比基于OpenStack或VMWare等虚拟机技术来搭建Hadoop集群，本发明在步骤3直接使用Kubernetes服务来编排用户创建的集群环境中的各个容器实例，保证服务的稳定性的同时，利用容器的轻量性特点，使得建立这些集群服务器的速度有很大提升，而且每台服务器所占用的系统资源相对于虚拟机技术也有所减少，因此可以搭建出更多的Hadoop集群。