[发明专利]集群系统的配置方法和集群系统

说明书

本发明公开了集群系统的配置方法和集群系统，分别根据应用于主节点和从节点的集群系统的配置方法，主节点可以自动完成自身Hadoop角色的配置，所有从节点也可以自动完成自身Hadoop角色的配置，从而解决现有技术中存在的由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及集群系统的配置方法和集群系统。

背景技术

随着网络技术的发展，网络中产生的数据也越来越多，数据量远远超过一台服务器可以管理的程度，分布式文件系统就应运而生，分布式文件管理系统管理的是一个服务器集群，而Hadoop就是分布式文件管理系统中的一种。

Hadoop包括多台服务器，多种服务协同，可以提供大量复杂数据处理和大量计算能力。一个完整的Hadoop集群系统往往有数十个节点，甚至成百上千个节点构成，其中主节点有一个或多个，从节点有若干个，每个节点为一台服务器。主节点一般提供管理Hadoop集群的服务或角色，例如主节点提供HDFS-Namenode、Yarn-Resourcemanager、Zookeeper、Hue等服务或角色，从节点一般提供计算或存储的服务或角色，例如从节点提供HDFS-Datanode、Yarn-Nodemanager、Hive-Gateway等服务或角色。除了需要安装基础的操作系统，每个节点都需要安装大量软件，和配置数个文件，而根据不同节点在集群中的不同角色，需要安装的软件和需要配置的文件也不尽相同。

而目前配置一套Hadoop集群需要人工对所有节点逐一进行操作系统的安装工作，人工配置所有节点的Hadoop角色所需的信息，例如集群IP地址、主机名、防火墙、NTP服务，调整内核参数等。这些安装及配置工作耗费大量时间和人力资源，并且容易出现配置错误、配置不统一等导致Hadoop集群无法正常工作的现象。从而现有技术中，至少存在如下技术问题：

由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高。

发明内容

本发明实施例通过提供集群系统的配置方法和集群系统，用于解决现有技术中存在的由于配置Hadoop集群系统耗费大量时间、占用大量人力资源，并且人工进行节点的配置工作的错误率高，从而导致配置Hadoop集群系统的效率低、人力成本高、错误率高的技术问题。

第一方面，本发明一实施例提供了一种集群系统的配置方法，应用于所述集群系统中的主节点，所述方法包括：

在接收到安装命令时，访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件；

根据所述操作系统文件，安装操作系统；

根据所述自动化部署系统文件，安装自动化部署系统；

根据所述Hadoop集群安装文件，配置所述主节点的Hadoop角色。

可选的，在所述根据所述自动化部署系统文件，安装自动化部署系统之后，所述方法还包括：

在接收到添加从节点的操作命令时，获取待添加的从节点的身份标识；

生成与所述身份标识对应的用于指向所述从节点的Hadoop角色的配置信息的指向文件。

可选的，所述访问操作系统文件、自动化部署系统文件和Hadoop集群安装文件，具体包括：

访问与所述主节点连接的存储介质中的所述操作系统文件、所述自动化部署系统文件和所述Hadoop集群安装文件。

可选的，所述配置信息包括：

所述从节点的Hadoop角色的配置文件；或者