[发明专利]一种基于多集群网络的任务调度方法及系统

权利要求书

1.一种基于多集群网络的任务调度方法，其特征在于，包括：

工作流服务器接收工作流调度请求；

所述工作流服务器根据所述工作流调度请求确定需要执行的任务之间的依赖关系和各所述任务的任务信息，并根据所述依赖关系向全局调度器依次发送各所述任务的任务信息；所述任务信息中包括执行所述任务所需资源的资源需求信息；

全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中；

各所述本地调度器将接收到的各所述任务分发至各自对应的节点上执行。

2.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，所述根据所述依赖关系向全局调度器依次发送各所述任务的任务信息，包括：

针对每一所述任务，当确定该任务满足预设的任务依赖条件中的一种时，再将该任务的任务信息发送给所述全局调度器；所述预设的任务依赖条件包括：

条件一：该任务不存在依赖任务；

条件二：该任务的依赖任务执行完毕。

3.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，所述多集群网络为多集群算力网络，所述任务为计算任务。

4.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，每一所述任务的资源需求信息包括：执行所述任务所需数据的数据存储地址信息。

5.如权利要求4所述的基于多集群网络的任务调度方法，其特征在于，每一所述任务的任务信息还包括：任务执行结果的执行结果存储地址信息；各所述本地调度器中的各所述节点用于根据所述执行结果存储地址信息将任务执行结果存储在对应的位置上。

6.如权利要求4所述的基于多集群网络的任务调度方法，其特征在于，所述全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中，包括：

所述全局调度器根据接收到的各所述任务对应的数据存储地址信息确定执行各所述任务所需的数据所在的目标集群；

在判定某一所述任务对应的所述目标集群的资源情况满足该任务的资源需求时，将该任务分发到该目标集群的本地调度器中。

7.如权利要求6所述的基于多集群网络的任务调度方法，其特征在于，所述数据存储地址信息为地址索引信息，所述全局调度器根据接收到的各所述任务对应的数据存储地址信息确定执行各所述任务所需的数据所在的目标集群，包括：

所述全局调度器根据接收到的各所述任务对应的地址索引信息从分布式数据库中查询各所述地址索引信息对应的目标集群；所述分布式数据库中存储有各数据的地址索引信息与存储该数据的集群的对应关系。

8.如权利要求6所述的基于多集群网络的任务调度方法，其特征在于，所述方法还包括：

在判定某一所述任务对应的目标集群的资源情况不满足该任务的资源需求时，将该任务分发到该任务的最优候选集群的本地调度器中；该任务的最优候选集群为所述多集群网络中与该任务的目标集群的数据传输速率最快、且其资源情况满足该任务的资源需求的集群。

9.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，所述方法还包括：

各所述节点从公共镜像仓库中拉取镜像，根据所述镜像执行接收到的所述任务，各所述集群通过所述公共镜像仓库中的镜像共享任务执行算法。

10.一种基于多集群网络的任务调度系统，其特征在于，包括：

工作流服务器，用于接收工作流调度请求，根据所述工作流调度请求确定需要执行的任务之间的依赖关系和各所述任务的任务信息，并根据所述依赖关系向全局调度器依次发送各所述任务的任务信息；所述任务信息中包括执行所述任务所需资源的资源需求信息；

全局调度器，用于根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中；

本地调度器，用于将接收到的各所述任务分发至各自对应的节点上执行。