[发明专利]任务依赖全景图展示方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据，涉及一种任务依赖全景图展示方法，包括获取目标项目，将目标项目对应的作业进行分层得到不同任务层级，并根据各个作业之间的逻辑关系以及任务层级之间的执行逻辑，建立任务层级之间的依赖关系，利用爬虫爬取依赖关系，根据依赖关系形成任务关系表，根据任务关系表确定作业之间的层级关系，根据层级关系生成每个作业对应的坐标，基于坐标生成并展示任务依赖全景图。本申请还提供一种任务依赖全景图展示装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，任务关系表可存储于区块链中。本申请可以避免作业关系依赖错乱，导致数据的聚合错误，降低使用方的信赖度，同时，提高作业定位的准确度。

技术领域

本申请涉及大数据的数据展示技术领域，尤其涉及一种任务依赖全景图展示方法、装置、计算机设备及存储介质。

背景技术

Azkaban是由领英(Linkedin)公司开源的一款工作流任务调度工具，集成调度、编排、失败重试、邮件告警等功能为一体。Azkaban为目前大数据数仓调度的重要调度工具，相对oozie等重型工具来说属于轻型工具。但是由于原生Azkaban简单的任务关系和自身调度单元的颗粒度小的问题，需要同时部署多套Azkaban做分级分层使用，不能满足目前大数据多业务复杂环境下的定位依赖和定位问题根源点，同时出现问题后，需要召集大量人力进行分析，导致浪费时间以及可能出现误判的问题。

发明内容

本申请实施例的目的在于提出一种任务依赖全景图展示方法、装置、计算机设备及存储介质，以解决相关技术中任务调度过程出现问题后，需要大量人力进行问题分析定位，导致定位问题效率低，且可能出现误判的技术问题。

为了解决上述技术问题，本申请实施例提供一种任务依赖全景图展示方法，采用了如下所述的技术方案：

获取目标项目，将所述目标项目对应的作业进行分层得到不同任务层级，并根据各个所述作业之间的逻辑关系以及所述任务层级之间的执行逻辑，建立所述任务层级之间的依赖关系；

利用爬虫爬取所述依赖关系，根据所述依赖关系形成任务关系表；

根据所述任务关系表确定所述作业之间的层级关系；

根据所述层级关系生成每个所述作业对应的坐标；

基于所述坐标生成并展示任务依赖全景图。

进一步的，所述根据所述任务关系表确定所述作业之间的层级关系的步骤包括：

根据所述任务关系表生成树状关系图；

基于所述树状关系图确定所述作业之间的层级关系。

进一步的，所述根据所述任务关系表生成树状关系图的步骤包括：

从所述任务关系表中获取到所述依赖关系；

根据所述依赖关系中的项目执行顺序、工作流执行顺序以及作业执行顺序生成所述树状关系图。

进一步的，所述根据所述层级关系生成每个所述作业对应的坐标的步骤包括：

根据所述层级关系确定每个所述作业所在的作业层级，并获取每个作业层级中所述作业的第一数量以及作业数量最多作业层级中所述作业的第二数量；

根据所述作业的作业开始时间对每个作业层级中的所述作业进行排序，得到作业排序序号；

根据所述作业层级、所述第一数量、所述第二数量以及所述作业排序序号计算出所述作业的坐标。

进一步的，所述根据所述作业层级、所述第一数量、所述第二数量以及所述作业排序序号计算出所述作业的坐标的步骤包括：

将所述第一数量加一得到和值，计算所述作业排序序号与所述和值的比值，得到商值；