[发明专利]一种安全模式下添加Hadoop集群用户的方法

说明书

本发明特别涉及一种安全模式下添加Hadoop集群用户的方法。该安全模式下添加Hadoop集群用户的方法，采用B/S架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用REST API查看集群上计算节点上是否存在该用户；如果用户不存在，调用Python语言实现用户添加脚本，将用户添加进Hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。该安全模式下添加Hadoop集群用户的方法，提供了可视化操作界面，可以将用户实时添加进Secure Mode下的Hadoop集群中，提高了用户添加的时效性、易用性。

技术领域

本发明涉及大数据技术领域，特别涉及一种安全模式下添加Hadoop集群用户的方法。

背景技术

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。

Hadoop主要有以下几个优点：

（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

（4）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

（5）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

在安全模式（Secure Mode）下的Hadoop集群，Linux Container Executor要求所有提交任务的用户在集群的计算节点上创建，完成用户创建才能保证container正常启动。因此，需要去每一个节点上创建用户，并为用户创建主目录。目前的操作方式是在每一个节点上执行添加用户的操作，缺乏统一的入口完成用户的添加。如果集群规模非常大，操作的难度可想而知。

基于上述情况，本发明提出了一种安全模式下添加Hadoop集群用户的方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的安全模式下添加Hadoop集群用户的方法。

本发明是通过如下技术方案实现的：

一种安全模式下添加Hadoop集群用户的方法，其特征在于：采用B/S架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用REST API查看集群上计算节点上是否存在该用户；如果用户不存在，调用Python语言实现用户添加脚本，将用户添加进Hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。

具体包括以下步骤：

（1）由客服端发送添加用户请求，并将所添加用户信息作为参数传给后台服务器；

（2）后台服务器获取Hadoop集群的计算节点；

（3）调用Python实现查询脚本，查询请求添加的用户是否为节点存在用户，如果用户不存在，添加用户，继续执行下一步，如果用户存在则直接执行下一步；