[发明专利]任务编排方法、编排器、设备及可读存储介质

权利要求书

1.一种任务编排方法，其特征在于，包括：

获取任务脚本，所述任务脚本为描述性语言脚本；

根据所述任务脚本，自动生成所述任务脚本对应任务中源表和目标表之间的数据依赖关系；

根据各任务中源表和目标表之间的数据依赖关系，通过数据驱动的方式，驱动任务的执行；

所述根据所述任务脚本，自动生成所述任务脚本对应任务中源表和目标表之间的数据依赖关系，包括：

从所述任务脚本的语法树中提取出作为对应任务的输入数据的源表的数据分区，以及作为对应任务的输出数据的目标表的数据分区，所述目标表的数据分区依赖于所述源表的数据分区；

根据所述语法树，生成基于中间变量的所述源表的数据分区与所述目标表的数据分区之间的数据依赖关系。

2.根据权利要求1所述的方法，其特征在于，所述根据各任务中源表和目标表之间的数据依赖关系，通过数据驱动的方式，驱动任务的执行，包括：

定时扫描数据库中的数据分区，对于扫描到的当前数据分区，确定当前数据分区的关联任务，以及所述关联任务的目标表的数据分区，其中所述关联任务是以当前数据分区作为源表的数据分区的任务；

根据所述当前数据分区的更新时间和所述关联任务的目标表的数据分区的更新时间，触发所述关联任务的执行。

3.根据权利要求2所述的方法，其特征在于，所述根据所述当前数据分区的更新时间和所述关联任务的目标表的数据分区的更新时间，触发所述关联任务的执行，包括：

判断所述当前数据分区的更新时间是否晚于所述关联任务的至少一个目标表的数据分区的更新时间；

若所述当前数据分区的更新时间晚于所述关联任务的至少一个目标表的数据分区的更新时间，则触发所述关联任务的执行；

若所述当前数据分区的更新时间不晚于所述关联任务的任意一个目标表的数据分区的更新时间，则不触发所述关联任务的执行。

4.根据权利要求3所述的方法，其特征在于，所述若所述当前数据分区的更新时间晚于所述关联任务的至少一个目标表的数据分区的更新时间，则触发所述关联任务的执行，包括：

若所述当前数据分区的更新时间晚于所述关联任务的至少一个目标表的数据分区的更新时间，则判断所述当前数据分区是否同时是所述关联任务的目标表的数据分区；

若所述当前数据分区同时是所述关联任务的目标表的数据分区，则不触发执行所述关联任务；

若所述当前数据分区不是所述关联任务的目标表的数据分区，且所述关联任务的源表只有一个，则触发执行所述关联任务。

5.根据权利要求4所述的方法，其特征在于，所述判断所述当前数据分区是否同时是所述关联任务的目标表的数据分区之后，还包括：

若所述当前数据分区不是所述关联任务的目标表的数据分区，且所述关联任务有多个源表，则判断是否存在所述关联任务的其他源表直接或者间接地依赖于所述当前数据分区所属的源表；

若存在所述关联任务的其他源表直接或者间接地依赖于所述当前数据分区所属的源表，则不触发执行所述任务；

若不存在所述关联任务的其他源表直接或者间接地依赖于所述当前数据分区所属的源表，则触发执行所述任务。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述任务脚本，自动生成所述任务脚本对应任务中源表和目标表之间的数据依赖关系之后，还包括：

对各个数据表之间的数据依赖关系进行拓扑排序。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述任务脚本，自动生成所述任务中源表和目标表之间的数据依赖关系之后，还包括：

对于新增加的目标任务的任务脚本，生成所述目标任务中源表和目标表之间的数据依赖关系。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述任务脚本，自动生成所述任务中源表和目标表之间的数据依赖关系之后，还包括：

当任一任务的任务脚本的更新后，更新该任务中源表和目标表之间的数据依赖关系。