[发明专利]一种基于Yarn的大数据平台实时计算服务Flink的部署方法

说明书

本发明公开了一种基于Yarn的大数据平台实时计算服务Flink的部署方法，属于大数据平台运维管理技术领域。本发明的基于Yarn的大数据平台实时计算服务Flink的部署方法通过制作不同版本号的安装包，结合大数据平台自定义部署应用，加载和自动更新配置，管理集群节点。该发明的基于Yarn的大数据平台实时计算服务Flink的部署方法能够增强大数据平台的数据处理能力、可视化展示能力、运营管理能力，实现快速部署，同时降低部署成本，具有很好的推广应用价值。

技术领域

本发明涉及大数据平台运维管理技术领域，具体提供一种基于Yarn的大数据平台实时计算服务Flink的部署方法。

背景技术

随着数据时代的不断发展，一项优秀的数据计算技术对于企业运营管理优化、业务改进、信息价值提炼等方面具有显著的改善作用，Apache Flink凭借其强大的计算能力和先进的设计理念，成为当下炙手可热的技术框架，被众多互联网大公司所重视。但对于如何将Flink快速部署应用于生产环境，实现与大数据平台技术的完美结合，充分挖掘数据的潜力，成为众多开发者必须面临的难题。

在传统的手工安装部署方式中，对于大数据组件安装难度大、组件兼容性问题很难解决，安装过程太过复杂。安装部署完成后组件的状态、运行情况，不能有效及时的监测，很不利于后期的运行维护。

Flink存在多种安装部署方式，不同模式的安装配置也不相同。Flink的集群部署模式有Mesos、Docker、Kubernetes、Yarn等，要与大数据平台相结合需要从众多模式中选择合适的部署模式。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够增强大数据平台的数据处理能力、可视化展示能力、运营管理能力，实现快速部署，同时降低部署成本的基于Yarn的大数据平台实时计算服务Flink的部署方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于Yarn的大数据平台实时计算服务Flink的部署方法，该方法通过制作不同版本号的安装包，结合大数据平台自定义部署应用，加载和自动更新配置，管理集群节点。

作为优选，该基于Yarn的大数据平台实时计算服务Flink的部署方法包括以下步骤：

S1、以Ansible为初始化安装配置工具；

S2、用Ambari安装管理监控大数据平台软件；

S3、用Ambari安装管理监控Ambari自定义的集成服务Flink；

S4、通过Yarn进行管理调度实时计算服务Flink。

作为优选，步骤S1中，将Ambari及Ambari触发大数据软件安装的相关接口和基础环境工具部署过程开发成Ansible脚本，通过Ansible命令触发执行Ansible脚本，自动化的安装。

Ansible是一种高级的脚本类语言，而非标准语言；不需要安装agent，分为管理节点和远程被管节点通过SSH认证；可用范围广，包括各种操作系统、虚拟化、公有云等。

作为优选，所述基础环境工具包括mysql数据库、jdk和nginx。

作为优选，步骤S2中，通过Ambari Server通知AmbariAgent安装对应大数据平台软件，AmbariAgent定时发送各个主机每个大数据平台软件模块的状态给Ambari Server，在Ambari的GUI界面展示给用户。

GUI即Graphical User Interface，图形用户界面。