[发明专利]Airflow服务的部署方法及装置、存储介质、计算机设备

说明书

本申请公开了一种Airflow服务的部署方法及装置、存储介质、计算机设备，该方法包括：在Ambari管理工具的根目录配置文件夹中存放Airflow服务的参数配置文件以及服务描述文件；通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和服务创建目录信息、以及读取所述服务描述文件中的Airflow服务组件；通过执行预编译的Airflow服务功能脚本，基于所述服务创建目录信息在Ambari管理工具的文件目录下创建Airflow服务的Airflow文件目录，并基于所述组件配置参数在所述Airflow文件目录下对所述Airflow服务组件进行安装，以实现对Airflow服务的部署。本申请避免对Airflow服务进行大量的节点配置，减少手动部署的繁琐操作，提升部署的效率和准确率。

技术领域

本申请涉及计算机技术领域，尤其是涉及到一种Airflow服务的部署方法及装置、存储介质、计算机设备。

背景技术

Apache Airflow是用于数据工程管道的工作流管理平台，用于管理有向无环图(DAG)及其相关任务。Airflow安装后，需要进行大量的后台配置修改以保证其能够在生产环境正常执行工作流调度。在分布式的运行场景下，Airflow还存在节点间的数据同步问题。各节点数据不严格一致会导致Dag调度失败。目前安装Airflow时依赖于用户在后台进行大量的手动部署，操作繁琐且容易出错。

发明内容

有鉴于此，本申请提供了一种Airflow服务的部署方法及装置、存储介质、计算机设备，通过对Ambari管理工具进行二次开发，以实现对Airflow服务的自动部署，减少手动操作的工作量，提升Airflow服务的部署效率和准确率。

根据本申请的一个方面，提供了一种Airflow服务的部署方法，所述方法包括：

在Ambari管理工具的根目录配置文件夹中存放Airflow服务的参数配置文件以及服务描述文件；

通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和服务创建目录信息、以及读取所述服务描述文件中的Airflow服务组件；

通过执行预编译的Airflow服务功能脚本，基于所述服务创建目录信息在Ambari管理工具的文件目录下创建Airflow服务的Airflow文件目录，并基于所述组件配置参数在所述Airflow文件目录下对所述Airflow服务组件进行安装，以实现对Airflow服务的部署。

可选地，所述参数配置文件还包括Airflow服务事项存放目录信息，所述Airflow服务事项存放目录信息包括Airflow服务日志存放目录信息以及Airflow服务进程存放目录信息；所述服务描述文件还包括组件依赖关系，所述Airflow服务组件包括Airflowscheduler任务调度组件、Airflow webserver可视化组件、以及Airflow worker任务执行组件，其中，Airflow scheduler组件依赖于Airflow worker组件；

所述通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和服务创建目录信息、以及读取所述服务描述文件中的Airflow服务组件，包括：

通过执行预编译的Airflow服务参数配置脚本，在所述根目录配置文件夹中读取所述参数配置文件中的组件配置参数和Airflow服务事项存放目录信息、以及读取所述服务描述文件中的Airflow服务组件和组件依赖关系；

相应地，所述基于所述组件配置参数在所述Airflow文件目录下对所述Airflow服务组件进行安装，包括：