[发明专利]任务编排方法、编排器、设备及可读存储介质

说明书

本发明提供一种任务编排方法、编排器、设备及可读存储介质。本发明的方法，通过将各任务脚本编辑为描述性语言脚本，根据所述任务的描述性语言脚本，自动生成所述任务脚本对应任务中源表和目标表之间的数据依赖关系；根据各任务中源表和目标表之间的数据依赖关系，通过数据驱动的方式，驱动任务的执行，无需技术人员手动编辑工作流文件，在某些任务发生变化时，也可以根据任务脚本自动更新任务中源表和目标表之间的数据依赖关系，不会影响任务之间的编排流程，无需重新进行任务编排测试，提高了任务编排效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种任务编排方法、编排器、设备及可读存储介质。

背景技术

在大数据平台上，最重要的环节就是对收集来的原始数据做处理，包括清洗、整理、分类、汇总等。绝大多数情况下，这些环节不可能一步完成。例如原始数据本身就有各种来源，每个来源的格式不同、需要的预处理也不同。因此，大数据平台的数据处理方式一般称为“管线”(pipeline)，一般通过使用一种程序或服务来安排管线中的各个环节定时执行、或者按照一个流程先后执行，这种程序或服务一般叫做调度器(scheduler)，或编排器(orchestrator)，管线中的每个环节称为任务(task)。

目前通过工作流的方式实现任务的编排，技术人员预先编写能够表述管线中各个任务间依赖关系的工作流文件，编排器根据工作流文件按照该依赖关系安排任务有序执行。常见的编排器包括Oozie和Luigi等，其中Oozie中有一个Eclipse插件，可以用来对工作流做可视化编辑；Luigi没有可视化编辑器，使用纯代码的方式来定义工作流。

但是，无论是纯代码还是可视化编辑的方式编辑的工作流，都是由技术人员手动定义工作流，如果中间某些任务发生变化，比如原来一个任务重写为多个任务、或者多个任务合并成一个任务、或者新加入一些任务，都需要技术人员手动对工作流进行重新编辑或调整，不可避免地会因人工操作失误导致工作流存在错误，需要对新的工作流重新进行测试，工作流的编辑和测试耗费大量的时间，任务编排的效率低。

发明内容

本发明提供一种任务编排方法、编排器、设备及可读存储介质，用以解决现有技术中由技术人员手动定义工作流，如果中间某些任务发生变化，需要技术人员手动对工作流进行重新编辑或调整，不可避免地会因人工操作失误导致工作流存在错误，需要对新的工作流重新进行测试，工作流的编辑和测试耗费大量的时间和资源，任务编排的效率低的问题。

本发明的一个方面是提供一种任务编排方法，包括：

获取任务脚本，所述任务脚本为描述性语言脚本；

根据所述任务脚本，自动生成所述任务脚本对应任务中源表和目标表之间的数据依赖关系；

根据各任务中源表和目标表之间的数据依赖关系，通过数据驱动的方式，驱动任务的执行。

本发明的另一个方面是提供一种编排器，包括：

任务脚本获取模块，用于获取任务脚本，所述任务脚本为描述性语言脚本；

依赖关系生成模块，用于根据所述任务脚本，自动生成所述任务脚本对应任务中源表和目标表之间的数据依赖关系；

任务驱动模块，用于根据各任务中源表和目标表之间的数据依赖关系，通过数据驱动的方式，驱动任务的执行。

本发明的另一个方面是提供一种任务编排设备，包括：

处理器，存储器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序；其中，所述处理器运行所述计算机程序时实现上述所述的任务编排方法。

本发明的另一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的任务编排方法。