[发明专利]基于数据的分布式ETL调度的方法和装置

说明书

本发明公开了一种基于数据的分布式ETL调度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据当前作业流的作业流配置表，确定当前作业流的数据源表；依据该数据源表查找所有作业流的作业流配置表，确定以该数据源表作为数据结果表的依赖作业流；当该依赖作业流执行成功时执行当前作业流，并将当前作业流的执行数据保存至当前作业流的数据结果表。该实施方式能够以生产时产生的中间结果数据作为数据源，减少作业依赖复杂度、减少冗余数据的产生且节省计算资源、提高调度效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于数据的分布式ETL调度的方法和装置。

背景技术

现有的数据分析领域，主流的开源作业调度工具，如Azkaban、Oozie、Kettle(C/S架构)等，ETL(Extract-Transform-Load，用来描述将数据从来源端经过萃取、转置、加载至目的端的过程)过程通常是依靠于源数据作为数据源进行时间、事件型调度，实际生产中的数据种类庞大，中间结果数据更是庞大，如果ETL过程仅仅依靠于源数据作为数据源进行调度，会产生更多的一次性数据且浪费计算资源。

发明内容

有鉴于此，本发明实施例提供一种基于数据的分布式ETL调度的方法和装置，能够以生产时产生的中间结果数据作为数据源，减少作业依赖复杂度、减少冗余数据的产生且节省计算资源、提高调度效率。

为实现上述目的，根据本发明的一个方面，提供了基于数据的一种分布式ETL调度的方法，包括：

根据当前作业流的作业流配置表，确定当前作业流的数据源表；

依据所述数据源表查找所有作业流的作业流配置表，确定以所述数据源表作为数据结果表的依赖作业流；

当所述依赖作业流执行成功时执行所述当前作业流，并将所述当前作业流的执行数据保存至所述当前作业流的数据结果表；

其中，所述作业流配置表包括以下字段：作业流标识，数据源表的标识，数据结果表的标识。

可选地，所述作业流配置表还包括如下字段：业务日期和作业流状态；

所述方法还包括：判断所述依赖作业流的业务日期和作业流状态是否满足如下条件：所述依赖作业流的业务日期等于所述当前作业流的日期、且所述依赖作业流的作业流状态为用于指示所述依赖作业流执行成功的状态；若是，则判定所述依赖作业流执行成功；以及，

执行所述当前作业流之后，还包括：更新所述当前作业流的作业流配置表中的业务日期和作业流状态。

可选地，所述作业流配置表还包括如下字段：时间触发、事件触发和作业流触发；

根据当前作业流的作业流配置表，确定当前作业流的数据源表之前，还包括：确认所述当前作业流被触发；其中，当所述当前作业流满足如下任一条件时，判定所述当前作业流被触发：

当前时间满足所述时间触发字段的字段值，所述事件触发字段指示的事件被触发，所述作业流触发字段指示的所述当前作业流的前置作业流执行成功。

可选地，所述作业流配置表还包括如下字段：数据处理过程描述和数据结果表结构；所述当前作业流是按照如下步骤创建的：

依据用户用于创建所述当前作业流输入的关键词查找所有作业流的作业流配置表，获取与所述关键词关联的关联作业流；

根据所述关联作业流的作业流配置表中的数据处理过程描述和数据结果表结构，从所有所述关联作业流的数据结果表中筛选所述当前作业流的数据源表；

创建所述当前作业流的作业流配置表，将所述当前作业流的数据源表的标识写入所述当前作业流的作业流配置表，以创建所述当前作业流。