[发明专利]一种基于Yarn的大数据平台实时计算服务Flink的部署方法在审
申请号: | 202110317799.7 | 申请日: | 2021-03-25 |
公开(公告)号: | CN112882728A | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 孙亮亮;孙兴艳;江燕 | 申请(专利权)人: | 浪潮云信息技术股份公司 |
主分类号: | G06F8/61 | 分类号: | G06F8/61 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 姜明 |
地址: | 250100 山东省济南市高*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 yarn 数据 平台 实时 计算 服务 flink 部署 方法 | ||
1.一种基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:该方法通过制作不同版本号的安装包,结合大数据平台自定义部署应用,加载和自动更新配置,管理集群节点。
2.根据权利要求1所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:包括以下步骤:
S1、以Ansible为初始化安装配置工具;
S2、用Ambari安装管理监控大数据平台软件;
S3、用Ambari安装管理监控Ambari自定义的集成服务Flink;
S4、通过Yarn进行管理调度实时计算服务Flink。
3.根据权利要求2所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:步骤S1中,将Ambari及Ambari触发大数据软件安装的相关接口和基础环境工具部署过程开发成Ansible脚本,通过Ansible命令触发执行Ansible脚本,自动化的安装。
4.根据权利要求3所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:所述基础环境工具包括mysql数据库、jdk和nginx。
5.根据权利要求4所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:步骤S2中,通过Ambari Server通知AmbariAgent安装对应大数据平台软件,AmbariAgent定时发送各个主机每个大数据平台软件模块的状态给Ambari Server,在Ambari的GUI界面展示给用户。
6.根据权利要求5所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:步骤S3中,制作通过Ambari部署的自定义集成服务Flink,根据Ambari的mpack包的开发模板需求,将Flink基于yarn的安装部署制作成Ambari的mpack包。
7.根据权利要求6所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:mpack包内容包括基于yarn模式的Flink在Ambari中的安装、启动、停止、卸载、安全认证及状态检查的脚本、版本信息和Flink的应用的访问链接配置文件、Flink服务的配置参数文件。
8.根据权利要求7所述的基于Yarn的大数据平台实时计算服务Flink的部署方法,其特征在于:步骤S4中,通过Yarn-session命令启动Flink,Yarn客户端检查要请求的资源是否可用,将Flink相关的jar包及配置上传到hdfs,Yarn客户端向RM申请一个Yarn容器以启动AM,在特定主机上Yarn的节点代理中启动容器运行Flink。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司,未经浪潮云信息技术股份公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110317799.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置