[发明专利]基于数据的分布式ETL调度的方法和装置

权利要求书

1.一种基于数据的分布式ETL调度的方法，其特征在于，包括：

根据当前作业流的作业流配置表，确定当前作业流的数据源表；

依据所述数据源表查找所有作业流的作业流配置表，确定以所述数据源表作为数据结果表的依赖作业流；

当所述依赖作业流执行成功时执行所述当前作业流，并将所述当前作业流的执行数据保存至所述当前作业流的数据结果表；

其中，所述作业流配置表包括以下字段：作业流标识，数据源表的标识，数据结果表的标识。

2.如权利要求1所述的方法，其特征在于，所述作业流配置表还包括如下字段：业务日期和作业流状态；

所述方法还包括：判断所述依赖作业流的业务日期和作业流状态是否满足如下条件：所述依赖作业流的业务日期等于所述当前作业流的日期、且所述依赖作业流的作业流状态为用于指示所述依赖作业流执行成功的状态；若是，则判定所述依赖作业流执行成功；以及，

执行所述当前作业流之后，还包括：更新所述当前作业流的作业流配置表中的业务日期和作业流状态。

3.如权利要求1所述的方法，其特征在于，所述作业流配置表还包括如下字段：时间触发、事件触发和作业流触发；

根据当前作业流的作业流配置表，确定当前作业流的数据源表之前，还包括：确认所述当前作业流被触发；其中，当所述当前作业流满足如下任一条件时，判定所述当前作业流被触发：

当前时间满足所述时间触发字段的字段值，所述事件触发字段指示的事件被触发，所述作业流触发字段指示的所述当前作业流的前置作业流执行成功。

4.如权利要求1所述的方法，其特征在于，所述作业流配置表还包括如下字段：数据处理过程描述和数据结果表结构；所述当前作业流是按照如下步骤创建的：

依据用户用于创建所述当前作业流输入的关键词查找所有作业流的作业流配置表，获取与所述关键词关联的关联作业流；

根据所述关联作业流的作业流配置表中的数据处理过程描述和数据结果表结构，从所有所述关联作业流的数据结果表中筛选所述当前作业流的数据源表；

创建所述当前作业流的作业流配置表，将所述当前作业流的数据源表的标识写入所述当前作业流的作业流配置表，以创建所述当前作业流。

5.一种基于数据的分布式ETL调度的装置，其特征在于，包括：

确定数据源表模块，根据当前作业流的作业流配置表，确定当前作业流的数据源表；

确定依赖作业流模块，依据所述数据源表查找所有作业流的作业流配置表，确定以所述数据源表作为数据结果表的依赖作业流；

执行模块，当所述依赖作业流执行成功时执行所述当前作业流，并将所述当前作业流的执行数据保存至所述当前作业流的数据结果表；

其中，所述作业流配置表包括以下字段：作业流标识，数据源表的标识，数据结果表的标识。

6.如权利要求5所述的装置，其特征在于，所述作业流配置表还包括如下字段：业务日期和作业流状态；

所述执行模块还用于：判断所述依赖作业流的业务日期和作业流状态是否满足如下条件：所述依赖作业流的业务日期等于所述当前作业流的日期、且所述依赖作业流的作业流状态为用于指示所述依赖作业流执行成功的状态；若是，则判定所述依赖作业流执行成功；以及，

执行所述当前作业流之后，更新所述当前作业流的作业流配置表中的业务日期和作业流状态。

7.如权利要求5所述的装置，其特征在于，所述作业流配置表还包括如下字段：时间触发、事件触发和作业流触发；

所述确定数据源表模块还用于：根据当前作业流的作业流配置表确定当前作业流的数据源表之前，确认所述当前作业流被触发；其中，当所述当前作业流满足如下任一条件时，判定所述当前作业流被触发：

当前时间满足所述时间触发字段的字段值，所述事件触发字段指示的事件被触发，所述作业流触发字段指示的所述当前作业流的前置作业流执行成功。