[发明专利]大数据分布式集群的部署方法、装置、介质及电子设备

说明书

本发明实施例提供了一种大数据分布式集群的部署方法、装置、介质及电子设备，该方法包括：获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和JDK安装路径信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板；根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。本发明实施例的技术方案提高了Presto集群的部署效率。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种大数据分布式集群的部署方法、装置、介质及电子设备。

背景技术

大数据分布式集群Presto是Facebook推出的一个基于Java开发的大数据分布式结构化查询语言(Structured Query Language，简称：SQL) 查询引擎，可对GB级到PB级的海量数据进行快速交互式查询，查询的速度达到商业数据仓库的级别。Presto因其高性能、高稳定性、功能丰富且能与Hadoop大数据生态较完美融合，使其在即席查询领域得到广泛应用。

现有技术中，Presto的部署方式的操作步骤：首先分发Presto的安装包分发至各个需要部署的节点；其次，逐个登录这些部署节点，修改 Presto的Java虚拟机配置文件、节点信息配置文件(其中，每个节点的 id必须唯一)、节点功能、性能以及链接信息配置文件；最后，启动或停止服务时，需要逐个登录部署节点执行启动或停止命令。

然而，现有技术中Presto的部署效率非常低，且不方便后续优化调整和日常运维。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种大数据分布式集群的部署方法、装置、介质及电子设备，进而至少在一定程度上克服现有技术中Presto 部署效率低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种大数据分布式集群的部署方法，应用于所述集群中任一待部署电子设备，包括：获取所述集群中各个所述待部署电子设备的配置信息，所述配置信息包括Presto安装路径信息和Java语言的软件开发工具包(JavaDevelopment Kit，简称：JDK)安装路径信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板，其中，所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称；所述多个差异性配置模板用于部署多个类别的待部署电子设备；根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，以生成所述大数据分布式集群。

在本发明的一种实施例中，所述配置信息还包括：中央处理器 (CentralProcessing Unit，简称：CPU)信息和内存信息；基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署所述大数据分布式集群的多个差异性配置模板，包括：根据所述CPU信息和内存信息对所述待部署电子设备进行分类；根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件，确定用于部署每一类别所述电子设备的部署信息，从而确定每一类别所述电子设备对应的差异性配置模板。

在本发明的一种实施例中，根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备，包括：加载所述公共配置模板至各个所述待部署电子设备，并设置所述Presto集群名称和Presto集群的部署目录名称为全局变量；确定所述全局变量合法的情况下，根据各个所述差异性配置模板配置对应类别的待部署电子设备。