[发明专利]集群调度方法、装置和系统以及电子设备

说明书

本发明实施例提供了一种集群调度方法、装置和系统以及电子设备。该方法包括：解析用户提交的任务信息，获取相应任务的负载需求；确定一个当前可用的满足所述负载需求的计算资源；将所述任务的任务数据发送至所述计算资源的最近存储设备，使得所述计算资源通过访问所述最近存储设备来对所述任务进行计算操作，所述最近存储设备为在传输距离上与所述计算资源最接近的存储设备。本发明实施例通过综合考虑任务的负载需求与计算节点的计算能力，寻找能够满足任务所需负载需求的单个计算节点，将任务数据调度到最靠近该计算节点的存储设备，从而能够利用单节点的高速传输特性来降低网络传输对计算性能的影响，以提高任务的计算效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种集群调度方法、装置和系统以及电子设备。

背景技术

集群是指相互独立的、通过高速网络互联的一组计算资源(计算节点)，以统一的模式进行管理的系统。例如，高性能计算(High Performance Computing；简称：HPC)集群，是一种用于科学工程领域的大规模并行计算集群。

在并行计算时，不同的计算资源(计算节点)对计算任务的不同部分进行计算。因此，为了确保数据的一致性，需要将任务数据保存在共享文件中，各计算资源(计算节点)通过访问共享文件来获取相应的任务数据。

发明人在实现本发明的过程中，发现现有技术至少存在如下问题：在现有技术中，各计算节点与用于存储共享文件的服务器之间通过网络进行数据传输，网络传输的性能影响整个计算任务的计算性能，极大地降低了任务的计算效率。

发明内容

本发明实施例提供一种集群调度方法、装置和系统以及电子设备，以解决现有技术中，网络传输的性能影响整个计算任务的计算性能的缺陷。

为达到上述目的，本发明实施例提供了一种集群调度方法，包括：

解析用户提交的任务信息，获取相应任务的负载需求；

根据所述负载需求，判断是否存在当前可用的满足所述负载需求的单个计算资源；

当存在当前可用的满足所述负载需求的单个计算资源时，确定一个当前可用的满足所述负载需求的单个计算资源以及所述计算资源的最近存储设备，其中，所述最近存储设备为在传输距离上与所述计算资源最接近的存储设备；

将所述任务的任务数据发送至所述计算资源的最近存储设备，使得所述计算资源通过访问所述最近存储设备来对所述任务进行计算操作。

本发明实施例还提供了一种集群调度装置，包括：

解析模块，用于解析用户提交的任务信息，获取相应任务的负载需求；

判断模块，用于根据所述负载需求，判断是否存在当前可用的满足所述负载需求的单个计算资源；

确定模块，用于当存在当前可用的满足所述负载需求的单个计算资源时，确定一个当前可用的满足所述负载需求的单个计算资源以及所述计算资源的最近存储设备，其中，所述最近存储设备为在传输距离上与所述计算资源最接近的存储设备；

第一调度模块，用于将所述任务的任务数据发送至所述确定模块确定的所述计算资源的最近存储设备，使得所述计算资源通过访问所述最近存储设备来对所述任务进行计算操作。

本发明实施例还提供一种集群调度系统，包括：

集群调度器，用于解析用户提交的任务信息，获取相应任务的负载需求；