[发明专利]集群资源调度方法及装置、电子设备和存储介质

说明书

本申请实施例公开了一种集群资源调度方法及装置、电子设备和存储介质，其中，该方法包括：在第一运行环境中，获取对图形处理器GPU集群中GPU的资源调度请求；根据请求参数执行任务调度策略将深度学习任务添加到任务队列中，以及执行预设资源分配策略从图形处理器GPU集群中确定出至少一个目标GPU；将深度学习任务调度至至少一个目标GPU上进行处理；调整任务调度策略和预设资源分配策略，将调整后的任务调度策略和预设资源分配策略部署在第二运行环境中。本申请实施例有利于降低资源调度算法的开发成本。

技术领域

本申请涉及分布式系统技术领域，具体涉及一种集群资源调度方法及装置、电子设备和存储介质。

背景技术

随着人工智能的发展，深度学习成为研究人员的关注重点，在目标识别、目标检测任务上有着广泛的应用。深度学习算法的实现离不开有效的训练，为了满足其训练对算力的要求，大规模的GPU(graphics processing unit，图形处理器)集群成为了深度学习算法研发工作的支撑。谈及集群就无可避免会涉及到资源管理和任务调度，目前集群中的任务调度多依赖于任务调度算法，而任务调度算法在开发完成后，需要在集群中进行测试，以验证其有效性和可靠性，但就深度学习训练周期长、计算密度大的特点而言，目前的任务调度算法的开发部署流程较为费时费力，这就使得开发成本居高不下。

发明内容

本申请实施例提供了一种集群资源调度方法及装置、电子设备和存储介质。通过在第一运行环境中进行任务调度策略和资源分配策略的开发，有利于降低资源调度算法的开发成本。

第一方面，本申请实施例提供一种集群资源调度方法，该方法包括：

在第一运行环境中，获取对图形处理器GPU集群中GPU的资源调度请求；所述资源调度请求中包括请求参数；

根据所述请求参数执行任务调度策略将所述资源调度请求对应的深度学习任务添加到任务队列中，以及执行预设资源分配策略从所述图形处理器GPU集群中确定出至少一个目标GPU；

将所述深度学习任务调度至所述至少一个目标GPU上进行处理；

调整所述任务调度策略和所述预设资源分配策略，将调整后的所述任务调度策略和所述预设资源分配策略部署在第二运行环境中。

结合第一方面，在一种可能的实施方式中，所述请求参数包括所述深度学习任务的任务类型，所述根据所述请求参数执行任务调度策略将所述资源调度请求对应的深度学习任务添加到任务队列中，包括：

根据所述深度学习任务的任务类型从所述图形处理器GPU集群的至少一个任务分区中确定出所述深度学习任务待请求的目标任务分区；

执行所述目标任务分区对应的所述任务调度策略将所述深度学习任务添加到所述目标任务分区的任务队列中。

结合第一方面，在一种可能的实施方式中，所述请求参数还包括历史深度学习任务的平均完成时长和平均等待时长，所述执行预设资源分配策略从所述图形处理器GPU集群中确定出至少一个目标GPU，包括：

根据所述平均完成时长和所述平均等待时长计算出所述深度学习任务待请求的GPU资源量；

根据所述待请求的GPU资源量执行第一预设资源分配策略或第二预设资源分配策略，以从所述目标任务分区中确定出所述至少一个目标GPU；所述第一预设资源分配策略用于查找到所述目标任务分区中的空闲GPU资源，则将所述空闲GPU资源确定为目标GPU，所述第二预设资源分配策略用于查找到所述目标任务分区中满足计算条件的空闲GPU资源，则将所述满足计算条件的空闲GPU资源确定为目标GPU。

结合第一方面，在一种可能的实施方式中，在根据所述深度学习任务的任务类型从所述图形处理器GPU集群的至少一个任务分区中确定出所述深度学习任务待请求的目标任务分区之前，所述方法还包括：