[发明专利]任务查询方法、装置、设备及存储介质

说明书

本申请提供了一种任务查询方法、装置、设备及存储介质，用于实现高效查询Flink任务信息。Flink的历史服务HistoryServer周期性从应用程序协调服务获取在分布式系统资源管理器集群中运行Flink任务的任务信息。历史服务接收到针对某个正在运行的Flink任务的详情查看请求时，从缓存中获取正在运行的Flink任务的实时访问接口，获取正在运行的Flink任务的实时任务信息返回给请求者。本申请通过对Flink历史服务进行扩展和改造，能够方便高效地实现正在运行的Flink任务的任务信息的查看，减少Flink维护成本。

技术领域

本申请涉及分布式计算技术领域，尤其涉及一种任务查询方法、装置、设备及存储介质。

背景技术

Flink是一个框架和分布式处理引擎，用于对无限和有限数据流进行有状态计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

Yarn(Yet Another Resource Negotiator)是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度。Yarn包括一个全局的资源管理组件ResourceManager(RM)和若干个针对作业任务的任务管理组件ApplicationMaster(AM)。ResourceManager负责控制整个集群并管理作业任务的基础计算资源的分配。ApplicationMaster负责管理在YARN内运行的用于完成作业任务的应用程序Application的每个实例。

ZooKeeper是一个分布式应用程序协调服务，是Hadoop和Hbase的重要组件，它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

Flink的历史服务HistoryServer是Flink内部的一个独立服务，HistoryServer的功能之一可用于查看已完成的Flink任务，然而原生Flink中该服务只能监控已完成的Flink任务，并不能对正在运行的任务进行监控。Yarn集群每天可能运行上百个任务，包括Spark、MapReduce、TEZ等任务，而Flink任务通常是一种需要7*24小时运行的任务，如果某一个正在运行的Flink实时任务出现了异常需要排查，用户就不得不手动去Yarn集群的任务列表中逐个比对才能找到需要的任务。

发明内容

有鉴于此，本申请提供任务查询方法、装置、设备及存储介质，用于解决无法高效地查看正在运行的Flink任务信息的技术问题。

基于本申请实施例的以方面，本申请提供了一种任务查询方法，该方法应用于Flink框架中的历史服务HistoryServer中，该方法包括：

历史服务(HistoryServer)从应用程序协调服务(Zookeeper)获取正在运行的Flink任务的任务信息并在本地缓存；其中，任务信息至少包括正在运行的Flink任务的任务标识(Jobid)和实时访问接口地址(rest_server_addr)；

当历史服务(HistoryServer)接收到前端界面发送的针对正在运行的Flink任务的任务详情查看请求时，根据所请求的Flink任务的任务标识(jobid)和实时访问接口地址(rest_server_addr)到分布式资源器集群(Yarn)中获取该Flink任务的实时任务信息，将获取的实时任务信息反馈给前端界面。

进一步地，所述方法还包括：

历史服务(HistoryServer)从分布式文件系统(HDFS)获取已运行完成的任务的任务信息，并将所获取的已运行完成任务的任务信息与获取的正在运行的Flink任务的任务信息合并为任务概览视图并在本地缓存；

当历史服务(HistoryServer)接收到前端界面的任务概览查看请求时，将本地缓存的任务概览视图反馈给前端界面。