[发明专利]大数据分布式集群的部署方法、装置、介质及电子设备有效
| 申请号: | 201810646556.6 | 申请日: | 2018-06-21 |
| 公开(公告)号: | CN108958744B | 公开(公告)日: | 2022-08-09 |
| 发明(设计)人: | 桂宇 | 申请(专利权)人: | 京东科技控股股份有限公司 |
| 主分类号: | G06F8/61 | 分类号: | G06F8/61;G06F8/30 |
| 代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 阚梓瑄;王卫忠 |
| 地址: | 100176 北京市大兴区北京经*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 分布式 集群 部署 方法 装置 介质 电子设备 | ||
1.一种大数据分布式集群的部署方法,应用于所述集群中任一待部署电子设备,其特征在于,包括:
获取所述集群中各个所述待部署电子设备的配置信息,所述配置信息包括Presto安装路径信息和JDK安装路径信息;
基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件,确定用于部署所述大数据分布式集群的多个差异性配置模板和公共配置模板,其中,所述公共配置模板包括Presto集群名称和Presto集群的部署目录名称;所述多个差异性配置模板用于部署多个类别的待部署电子设备;
根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备,以生成所述大数据分布式集群。
2.根据权利要求1所述的方法,其特征在于,所述配置信息还包括:CPU信息和内存信息;基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件,确定用于部署所述大数据分布式集群的多个差异性配置模板,包括:
根据所述CPU信息和内存信息对所述待部署电子设备进行分类;
根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件,确定用于部署每一类别所述电子设备的部署信息,从而确定每一类别所述电子设备对应的差异性配置模板。
3.根据权利要求2所述的方法,其特征在于,根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备,包括:
加载所述公共配置模板至各个所述待部署电子设备,并设置所述Presto集群名称和Presto集群的部署目录名称为全局变量;
确定所述全局变量合法的情况下,根据各个所述差异性配置模板配置对应类别的待部署电子设备。
4.根据权利要求1至3任一项所述的方法,其特征在于,根据所述多个差异性配置模板和所述公共配置模板部署所述集群中各个所述待部署电子设备之后,包括:
校验各个所述待部署电子设备的部署结果是否达到预设要求。
5.根据权利要求2所述的方法,其特征在于,基于各个所述待部署电子设备的配置信息解析所述大数据分布式集群的安装包文件,确定用于部署所述大数据分布式集群的多个差异性配置模板之前,还包括:
获取各个所述待部署电子设备的系统版本信息和基础软件信息;
根据所述配置信息、系统版本信息和基础软件信息,确定所述Presto集群的中心控制节点和工作节点;
根据所述CPU信息和内存信息对所述待部署电子设备进行分类,包括:
根据所述中心控制节点的电子设备的所述CPU信息和内存信息对所述中心控制节点的电子设备进行第一分类,以及根据所述工作节点的电子设备的所述CPU信息和内存信息对所述工作节点的电子设备进行第二分类。
6.根据权利要求5所述的方法,其特征在于,根据每一类别所述电子设备对应的配置信息解析所述大数据分布式集群的安装包文件,确定用于部署每一类别所述电子设备的部署信息,从而确定每一类别所述电子设备对应的差异性配置模板,包括:
根据所述集群部署信息确定对所述第一分类后的每一类别所述中心控制节点的电子设备对应的配置信息,从而确定多个中心控制节点的差异性配置模板;
根据所述集群部署信息确定对所述第二分类后的每一类别所述工作节点的电子设备对应的配置信息,从而确定多个工作节点的差异性配置模板。
7.根据权利要求3所述的方法,其特征在于,根据各个所述差异性配置模板配置对应类别的待部署电子设备,包括:
对于每一类别待部署电子设备,遍历该类别中各个电子设备的Presto临时文件夹,结合对应该类别的差异性配置模板解析各个所述临时文件夹的配置文件,以确定对应于该类别中各个电子设备的临时目录;
发送所述临时目录至对应的电子设备的Presto安装目录下。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东科技控股股份有限公司,未经京东科技控股股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810646556.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





