[发明专利]数据任务调度方法、装置、存储介质及调度工具

说明书

本发明涉及一种数据任务调度方法、装置、存储介质及调度工具，包括：获取当前需要执行的数据任务，所述数据任务配置有对应的任务关系；若所述当前需要执行的数据任务满足预设条件，则根据所述任务关系排列所述当前需要执行的数据任务，以建立数据任务队列；获取各节点服务器的负载情况；基于所述数据任务队列将当前需要执行的数据任务发送给目标节点服务器进行处理。上述数据任务调度方法、装置、存储介质及调度工具即便是对于数据任务之间关系复杂的情况也能够自动理清他们之间的关系，对于关系复杂的数据任务也能够很好的分发和执行。

技术领域

本申请涉及数据管理技术领域，特别是涉及一种数据任务调度方法、装置、存储介质及调度工具。

背景技术

为了解决日益繁重的业务需求任务关系和处理能力不足的问题，需要用到数据抽取、转换和加载(ETL，Extract-Transform-Load)工具软件。

目前主流的ETL工具软件对于多任务通常使用手工方式来排列调度的顺序。当调度任务数有成百上千时，任务之间形成了网状关系，通过人工来处理很难理清它们之间的关系。

并且，由于单台服务器处理能力有限，当负载过大时，传统技术通常采用分布方式来解决负载问题。这种分布方式对于关系复杂的任务不能很好的分发和执行。

发明内容

基于此，有必要针对现有技术中的任务之间的关系难以清理以及对于关系发在的任务不能很好的分发和执行的问题提供一种数据任务调度方法、装置、存储介质及调度工具。

一种数据任务调度方法，包括：

获取当前需要执行的数据任务，所述数据任务配置有对应的任务关系；

若所述当前需要执行的数据任务满足预设条件，则根据所述任务关系排列所述当前需要执行的数据任务，以建立数据任务队列；

获取多个节点服务器的负载情况，以确定目标节点服务器；

基于所述数据任务队列将所述当前需要执行的数据任务发送给所述目标节点服务器进行处理。

在一实施例中，在所述获取当前需要执行的数据任务之前，还包括：

获取数据任务；

配置所述数据任务的前置依赖关系；

配置所述数据任务的优先级，所述数据任务的优先级表示所述数据任务的执行顺序；

配置所述数据任务的执行周期。

在一实施例中，所述当前需要执行的数据任务满足预设条件包括，所述当前需要执行的数据任务所前置依赖的数据任务已经完成，且满足其执行周期的条件。

在一实施例中，所述根据所述任务关系排列所述当前需要执行的数据任务，以建立数据任务队列包括：

按照优先级将各所述当前需要执行的数据任务进行归类；

根据各优先级类别对应的当前需要执行的数据任务的前置依赖关系，排列当前需要执行的数据任务，以建立所述数据任务队列。

在一实施例中，所述获取各节点服务器的负载情况，以确定目标节点服务器包括：

获取多个所述节点服务器的指标的数据值；

根据各所述节点服务器的指标的数据值得到对应节点服务器的分数，以确定所述目标节点服务器。

在一实施例中，所述目标节点服务器为分数低于设定阈值的节点服务器。

在一实施例中，若有多个所述节点服务器的分数低于所述设定阈值，则所述目标节点服务器为分数最低的节点服务器。