[发明专利]基于Linux系统的kafka集群自动部署方法和装置

说明书

本发明公开了一种基于Linux系统的kafka集群自动部署方法和装置，所述方法预先将kafka和zookeeper安装介质上传到本地，然后执行以下步骤：步骤1：读取并解析配置文件，获取kafka集群的节点信息和配置信息；步骤2：根据kafka集群的节点信息将所述安装介质分发到集群中的各个节点；步骤3：根据配置信息，远程登录到各个节点相应的目标主机修改配置文件，通过运行脚本依次启动zookeeper服务和kafka服务。本发明实现了kafka集群的自动安装部署，解决了手动安装可能发生错误的缺陷。

技术领域

本发明属于软件自动化部署的领域，尤其涉及一种基于Linux系统的kafka集群自动部署方法和装置。

背景技术

kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。

目前安装kafka集群的方式是按照kafka官方给出的安装文档所规定的步骤手工一步步的进行操作，Kafka集群的安装部署过程通常为：首先安装JDK，在此基础上下载/上传kafka安装介质的压缩包，解压并进行移动或重命名等操作，然后配置zookeeper的安装目录以及修改其他配置信息，启动zookeeper后再修改kafka配置信息，最后启动kafka。以上安装方式操作步骤繁琐，费时费力，并且其中涉及的所有配置信息修改、保存等均需手动执行，极易出错。

如何实现kafka集群的自动部署，解决了手动安装可能发生错误的缺陷，是本领域技术人员目前迫切解决的技术问题。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于Linux系统的kafka集群自动部署方法和装置，通过配置文件获取kafka集群的节点信息和配置信息，根据节点信息对安装介质完成分发，根据配置信息对各节点kafka和zookeeper的配置文件进行自动修改。本发明实现了kafka集群的自动安装部署。

为实现上述目的，本发明采用如下技术方案：

一种基于Linux系统的kafka集群自动部署方法，预先将kafka和zookeeper安装介质上传到本地，包括以下步骤：

步骤1：读取并解析配置文件，获取kafka集群的节点信息和配置信息；

步骤2：根据kafka集群的节点信息将所述安装介质分发到集群中的各个节点；

步骤3：根据配置信息，远程登录到各个节点相应的目标主机修改配置文件，通过运行脚本依次启动zookeeper服务和kafka服务。

进一步地，所述节点信息包括：kafka集群各个节点的网络地址和安装路径。

进一步地，所述所述配置信息包括kafka配置信息和zookeeper配置信息，其中，所述kafka配置信息包括节点标识id，节点主机名，端口号，消息存放的目录，默认分区数，zookeeper集群地址；所述zookeeper配置信息包括节点ip地址，端口号，日志目录，心跳时间。

进一步地，所述步骤2和3是通过调用自动部署模块实现的。

进一步地，将安装介质分发到集群中的各个节点后，还并发自动解压各个节点上的安装介质。

进一步地，修改配置文件是并发自动修改。