[发明专利]一种数据仓库中任务的调度方法、装置

说明书

本申请公开了一种数据仓库中任务的调度方法、装置，当用户需要批量启动某一批任务节点时，数据仓库调度系统根据用户的输入信息执行如下步骤：接收用户输入的新建虚拟任务节点的操作；接收用户输入的将所述新建的虚拟任务节点与所述批量启动的某一批任务节点关联的操作；当所述新建的虚拟任务节点启动后，所述数据仓库调度系统从所述新建的虚拟任务节点开始至所述批量启动的某一批任务节点的叶子节点路径上各任务节点的执行顺序调度各任务节点执行任务；当各任务节点执行完任务后，输出所述批量启动的某一批任务节点的执行结果给用户。可以解决现有的任务的调度和管理效率低的问题。

技术领域

本申请涉及数据仓库的技术领域，具体地说，涉及一种数据仓库中任务的调度方法、装置。

背景技术

数据仓库是一个独立的数据环境，通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中。它的目的是建立结构化的数据存储空间，将不同数据源的数据分离出来，形成统一、有效的数据集，并最终加工、整合成所需要的数据。

ETL(Extraction-Transformation-Loading)是数据抽取、清洗、转换和装载的过程。是构建数据仓库的重要一环，用户从数据库抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

随着数据规模和数据分析业务的快速增长，ETL任务的数量和复杂度也随之快速增长，但由于ETL包括众多的处理任务，且这些处理任务之间有一定的依赖关系，而目前缺乏有效的任务调度方法，影响了对任务的调度和管理效率，也影响了数据仓库开发效率和资源利用率

发明内容

有鉴于此，本申请提供一种数据仓库中任务的调度方法、装置，可以解决现有的任务的调度和管理效率低的问题。

为了解决上述技术问题，本申请第一方面提供一种数据仓库中任务的调度方法，当用户需要批量启动某一批任务节点时，数据仓库调度系统根据用户的输入信息执行如下步骤：

接收用户输入的新建虚拟任务节点的操作；

接收用户输入的将所述新建的虚拟任务节点与所述批量启动的某一批任务节点关联的操作；

当所述新建的虚拟任务节点启动后，所述数据仓库调度系统从所述新建的虚拟任务节点开始，根据所述批量启动的某一批任务节点的叶子节点路径上各任务节点的执行顺序调度各任务节点执行任务；

当各任务节点执行完任务后，输出所述批量启动的某一批任务节点的执行结果给用户。

其中，所述的方法还包括：

检测到用户点击新建虚拟任务节点的按钮，向用户展示待启动的任务节点的任务流图和输入界面，所述任务流图中包括所述待启动的任务节点的所有上游任务节点的标识和依赖关系。

其中，所述的方法还包括：

检测到用户在所述输入界面中输入所述待启动的任务节点的若干上游根任务节点的标识，建立所述新建的虚拟任务节点与所述待启动的任务节点的若干上游根任务节点的关联关系。

其中，所述的方法还包括：

检测到用户点击所述新建的虚拟任务节点的启动按钮，将与所述新建的虚拟任务节点关联的若干上游根任务节点作为一个执行单位，创建一个任务执行进程进行整体调度。

其中，所述的方法还包括：

分别确定所述若干上游根任务节点到所述待启动的任务节点的叶子节点路径；

根据每个叶子节点路径上各上游任务节点的执行顺序调度各上游任务节点执行任务；

当每个叶子节点路径上任务节点的任务执行完毕之后，将每个叶子节点路径的任务执行结果输出给所述待启动的任务节点进行任务执行。