[发明专利]一种Hadoop集群自动添加删除节点的方法

说明书

技术领域

本发明涉及Hadoop集群技术领域，具体涉及一种Hadoop集群自动添加删除节点的方法。通过对Ambari RestApi进行封装，可以实现Hadoop集群中任意类型节点的自动添加和删除，无需人工进行干预。

背景技术

Ambari作为一种供应、管理、监控Hadoop集群的工具，提供了直观易操作的Hadoop集群安装、管理功能。用户只需通过在WEB页面上进行点击，就可以完成创建、管理、配置等操作，为用户提供了一站式的服务，简化了用户的操作。然而，由于Hadoop生态的复杂性，在Ambari上为Hadoop集群增加节点仍需要进行很多操作，即便这些操作已经比纯手工添加Hadoop节点简化了许多，但是在同时维护多个集群或批量添加、删除节点时，这些操作仍显得过于繁琐，运维人员会感觉力不从心。

发明内容

本发明要解决的技术问题是：本发明针对以上问题，提供一种Hadoop集群自动添加删除节点的方法。

本发明所采用的技术方案为：

一种Hadoop集群自动添加删除节点的方法，所述方法通过调用一个或多个Ambari RestApi，实现Hadoop集群的添加、删除、维护等操作。

Ambari RestApi是一组Ambari提供的用来操作Hadoop集群的符合REST规范的接口。

REST是Representational State Transfer的缩写，是一种通过Http请求操作服务端资源的国际通用接口规范，其内容主要包括：

（1）每个URI代表一种服务端的资源

（2）客户端和服务端之间约定并传递资源的一个表现形式。如：一段使用XML格式描述资源的文本。

（3）客户端通过四个HTTP动词（GET、POST、PUT、DELETE），来指定对服务端的资源进行什么样的操作。

凡是符合REST接口规范的API统称为RestApi。

所述方法通过对重复度较高的Amari RestApi逻辑进行封装，可以大幅度简化调用Amari RestApi的逻辑，用户只需要关心操作的资源本身即可。如：调用RestApi本质上属于发送Http请求，每次发送请求时都需要构建请求头信息、认证信息、请求体信息等；同时在收到服务端响应后，也要对响应头、响应体等进行相应的解析。

所述方法通过使用程序对多个原子操作组合和编排并进行封装，实现一整套业务逻辑的自动化处理。

通过对重复度较高的逻辑进行封装后，只是简化了调用Amari RestApi对Hadoop集群进行原子操作的逻辑。而通过使用程序对多个原子操作进行组合和编排，实现一整套业务逻辑的自动化处理（如新增Hadoop节点），是第二个层面上的封装。

通过对Ambari RestApi进行封装，用户只需要输入要添加或删除的节点IP，即可完成Hadoop节点的新增和删除。

Ambari RestApi封装后的接口也能够被其他程序所调用，将添加或删除Hadoop节点的操作作为一个子业务逻辑嵌入到其他业务逻辑中。

添加Hadoop节点流程如下：

a)用户需要提前准备好需要添加的Hadoop节点（物理机或虚拟机），安装并启动Ambari-agent；

b)用户启动添加节点流程前，需要选择对照节点，并输入要添加的Hadoop节点地址；新节点上的组件会参考对照节点上已安装的组件情况进行安装；

c)流程开始，首先检查Ambari-server是否运行正常；

d)检查目标节点上Ambari-agent是否允许正常；

e)将新节点注册到集群中；

f)读取对照节点上已安装的组件列表；

g)按照对照节点的组件列表为新节点添加组件；

h)为新节点执行组件安装操作；

i)组件安装完成后启动组件。

删除Hadoop节点流程如下：

a)流程开始前，用户需要输入要删除的节点地址；

b)流程开始，首先检查Ambari-server是否运行正常；

c)检查节点上是否有需要进行退役操作的组件（如DataNode、NodeManager、HBASE Region Server等），并进行相应的退役操作；若不进行退役操作，可能会导致数据丢失；

d)退役操作完成后，停止节点上的所有组件；

e)移除节点上的所有组件；

f)将节点从集群中注销；