[发明专利]一种基于多集群网络的任务调度方法及系统

说明书

本申请提供一种基于多集群网络的任务调度方法及系统，工作流服务器根据任务之间的依赖关系向全局调度器依次发送任务的任务信息，保证每一个任务都能按顺序依次执行，由全局调度器根据各任务的任务信息以及多集群网络中各集群的资源情况，将各任务分发到可满足各自资源需求的集群的本地调度器中调度执行，可以高效地利用各集群上的资源，尽可能保证每一个集群上分发的任务都能被执行，提升了通信资源的利用率；另外，针对每一任务，当确定该任务不存在依赖任务，或该任务的依赖任务执行完毕后，再将该任务的任务信息发送给全局调度器，保证发送给全局调度器的任务可以被有效执行，减少执行各任务之间的等待时间，提升了任务执行的效率。

技术领域

本申请涉及任通信技术领域，具体而言，涉及一种基于多集群网络的任务调度方法及系统。

背景技术

在传统的任务调度系统中，大部分都没有提供任务依赖功能，或者即使提供了任务依赖功能，在实现各任务时，如何高效地利用多个集群上的资源仍没有合理的解决方案。

发明内容

本申请实施例的目的在于提供一种基于多集群网络的任务调度方法及系统，用以解决现有多集群网络的任务调度系统中无法高效地利用多个集群上的资源的问题。

本申请实施例提供了一种基于多集群网络的任务调度方法，包括：

工作流服务器接收工作流调度请求；

所述工作流服务器根据所述工作流调度请求确定需要执行的任务之间的依赖关系和各所述任务的任务信息，并根据所述依赖关系向全局调度器依次发送各所述任务的任务信息；所述任务信息中包括执行所述任务所需资源的资源需求信息；

全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中；

各所述本地调度器将接收到的各所述任务分发至各自对应的节点上执行。

在上述实现过程中，工作流服务器根据任务之间依赖关系向全局调度器依次发送各任务的任务信息，以保证每一个任务都能按顺序依次执行，由于全局调度器根据各任务的任务信息以及多集群网络中各集群的资源情况，将各任务分发到可满足各自资源需求的集群的本地调度器中调度执行，可以高效地利用各集群上的资源，尽可能保证每一个集群上分发的任务都能被执行，提升了通信资源的利用率。

进一步地，所述根据所述依赖关系向全局调度器依次发送各所述任务的任务信息，包括：

针对每一所述任务，当确定该任务满足预设的任务依赖条件中的一种时，再将该任务的任务信息发送给所述全局调度器；所述预设的任务依赖条件包括：

条件一：该任务不存在依赖任务；

条件二：该任务的依赖任务执行完毕。

在上述实现过程中，针对每一任务，当确定该任务不存在依赖任务，或该任务的依赖任务执行完毕后，再将该任务的任务信息发送给全局调度器，保证发送给全局调度器的任务可以被有效执行，减少执行各任务之间的等待时间，提升了任务执行的效率。

进一步地，所述多集群网络为多集群算力网络，所述任务为计算任务。

在上述实现过程中，支持多集群算力网络中的工作流调度，使得复杂的大规模、跨集群的计算任务可以方便的完成。

进一步地，每一所述任务的资源需求信息还包括：执行所述任务所需数据的数据存储地址信息。

进一步地，每一所述任务的任务信息还包括：任务执行结果的执行结果存储地址信息；各所述本地调度器中的各所述节点用于根据所述执行结果存储地址信息将任务执行结果存储在对应的位置上。

进一步地，所述全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中，包括：

所述全局调度器根据接收到的各所述任务对应的数据存储地址信息确定执行各所述任务所需的数据所在的目标集群；