[发明专利]基于数仓任务和模型任务的页面配置的任务调度方法

说明书

本发明公开了一种基于数仓任务和模型任务的页面配置的任务调度方法。本发明方法包括：根据不同租户创建不同的调度实例装置，并初始化模板调度线；调度实例基于airflow框架，能够实现个性化的页面配置的开发，使多个任务间的依赖关系可以在页面上进行配置；根据被选任务的前置依赖任务的调度结果对被选任务进行调度，直至调度完所有需要进行调度的任务。本发明通过docker镜像的隔离，页面化的配置，使得装置部署方式简单化，调度依赖的配置过程可视化，进而提升了调度的开发效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于数仓任务和模型任务的页面配置的任务调度方法及装置。

背景技术

随着现在计算机技术的快速发展，服务器需要根据前后依赖关系对任务进行调度，特别是在数仓任务和模型任务的调度领域。由于AIRFLOW的部署以及使用较为复杂，如何提高AIRFLOW的可操作性与便捷性就成了一大问题。

AIRFLOW中提供了一种基于数仓任务和模型任务的页面配置的任务调度方法，在该方法中，可以根据各个任务间的依赖关系编写Python文件。在此Python文件中，需要写清每个任务的参数即各类配置，部署到服务器上后方可生效。

在实现本发明的过程中，发明人发现上述方法至少存在以下问题：

首先，不支持多租户的使用场景。其次，工具的安装部署较为繁琐，依赖别的工具，且在安装过程中容易出错；再者，Python文件的编写较为复杂，需要了解并遵循其特定的编写规则，提升了使用成本；最后，每当需要修改任意任务的配置，任务间的调度关系，整体的配置参数等内容时，需要重新将文件手动部署到服务器方可生效。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于数仓任务和模型任务的页面配置的任务调度方法及装置。

本发明所述的基于数仓任务和模型任务的页面配置的任务调度方法，其特征在于包括如下这不：

根据不同租户创建不同的调度实例装置，并初始化模板调度线；

调度实例基于airflow框架，能够实现个性化的页面配置的开发，使多个任务间的依赖关系可以在页面上进行配置；

根据被选任务的前置依赖任务的调度结果对被选任务进行调度，直至调度完所有需要进行调度的任务；

所述基于HIVE数据仓库任务和模型任务的页面配置的任务调度方法，其特征在于，

所述每个调度实例装置均由调度中心统一生成，具体：

租户根据自身权限，动态生成不同的调度线，调度线构成调度实例装置；调度线是指不同任务和不同任务间的依赖关系；

生成的调度实例装置可以在页面根据个性化的需求，进行任意任务结点和任务间依赖关系的修改，具体修改方式如下：

获取所述被选任务的前置依赖任务，按照其前置依赖任务对应的调度周期被调度之后得到的调度结果，根据获取到的调度结果对所述被选任务进行调度；

所述的被选任务的前置依赖任务为一个或多个；因此前置依赖任务的调度结果为一个或多个；进一步的，被选任务的前置依赖任务调度不一定成功；

所述根据不同租户创建不同的调度实例装置，并初始化模板调度线，具体实现包括如下：

业务中心在新的租户进来时，会请求调度中心获取相应版本的调度实例装置，部署在以租户ID命名的不同文件夹下，用docker进行环境隔离；随后业务中心调用创建DAG(有向无环图)的接口，获取全依赖和模块线，根据新的租户自身的权限，点亮生成权限内对应的调度线。

进一步的，所述调度实例在基于airflow框架的基础上，进行个性化的配置页面的开发，使多个任务间的依赖关系可以在页面上进行配置，包括：