[发明专利]数据任务调度方法、装置、存储介质及调度工具

权利要求书

1.一种数据任务调度方法，其特征在于，包括：

获取当前需要执行的数据任务，所述数据任务配置有对应的任务关系；

若所述当前需要执行的数据任务满足预设条件，则根据所述任务关系排列所述当前需要执行的数据任务，以建立数据任务队列；

获取多个节点服务器的负载情况，以确定目标节点服务器；

基于所述数据任务队列将所述当前需要执行的数据任务发送给所述目标节点服务器进行处理。

2.根据权利要求1所述的数据任务调度方法，其特征在于，在所述获取当前需要执行的数据任务之前，还包括：

获取数据任务；

配置所述数据任务的前置依赖关系；

配置所述数据任务的优先级，所述数据任务的优先级表示所述数据任务的执行顺序；

配置所述数据任务的执行周期。

3.根据权利要求2所述的数据任务调度方法，其特征在于，所述当前需要执行的数据任务满足预设条件包括，所述当前需要执行的数据任务所前置依赖的数据任务已经完成，且满足其执行周期的条件。

4.根据权利要求2所述的数据任务调度方法，其特征在于，所述根据所述任务关系排列所述当前需要执行的数据任务，以建立数据任务队列包括：

按照优先级将各所述当前需要执行的数据任务进行归类；

根据各优先级类别对应的当前需要执行的数据任务的前置依赖关系，排列当前需要执行的数据任务，以建立所述数据任务队列。

5.根据权利要求1所述的数据任务调度方法，其特征在于，所述获取多个节点服务器的负载情况，以确定目标节点服务器包括：

获取多个所述节点服务器的指标的数据值；

根据各所述节点服务器的指标的数据值得到对应节点服务器的分数，以确定所述目标节点服务器。

6.根据权利要求5所述的数据任务调度方法，其特征在于，所述目标节点服务器为分数低于设定阈值的节点服务器。

7.根据权利要求6所述的数据任务调度方法，其特征在于，若有多个所述节点服务器的分数低于所述设定阈值，则所述目标节点服务器为分数最低的节点服务器。

8.根据权利要求5所述的数据任务调度方法，其特征在于，所述指标包括CPU使用率、内存使用率、IO使用率及并发数中的至少一种。

9.根据权利要求5所述的数据任务调度方法，其特征在于，所述分数等于

其中，i为正整数，n为所述指标的个数，Pi为第i个指标的数据值，Yi为第i个指标的初始值，Q为分值，Mi为第i个指标的权重。

10.根据权利要求1所述的数据任务调度方法，其特征在于，所述基于所述数据任务队列将所述当前需要执行的数据任务发送给所述目标节点服务器进行处理包括：

基于所述数据任务队列将所述当前需要执行的数据任务直接发送给目标节点服务器进行处理，或将所述当前需要执行的数据任务进行数据库清洗后得到所述目标节点服务器所要求的格式并发送给所述目标节点服务器进行处理。

11.根据权利要求1至10任一项所述的数据任务调度方法，其特征在于，还包括：

若所述当前需要执行的数据任务不满足所述预设条件，则输出报警信息。

12.根据权利要求1至10任一项所述的数据任务调度方法，其特征在于，还包括：维护所述节点服务器；

所述维护所述节点服务器包括增加、删除或修改所述节点服务器；和/或判断所述节点服务器是否出现异常，并在所述节点服务器出现异常时输出报警信息。