[发明专利]一种多服务器作业的优化调度方法

说明书

本发明公开了一种多服务器作业的优化调度方法，涉及云计算相关技术领域，包括提出一种通用的、基于二分图的群组调度模型，优化目标为Asw最大化；基于该模型，提出一种通过历史奖励数据来学习MSJ在不同服务器上运行时间的期望和方差的框架；基于该学习框架，提出一种基于遗传算法的Asw最大化策略，能够在保证多种类型的约束成立的条件下使得社会整体收益最大。本发明针对多服务器作业，提出了一种可以主动式学习作业完成速率、并同时最大化累积社会效益的群组调度方法，可优化累积社会效益，平衡社会各方利益，追求社会整体利益最大化，所设计的调度策略，企业可显著节省计算成本，提高生产收益比。

技术领域

本发明涉及云计算相关技术领域，特别涉及一种多服务器作业的优化调度方法。

背景技术

如今的计算集群中充斥着各种“多服务器作业(Multi-Server Jobs，以下简称MSJ)”，MSJ具有多个需要同时运行的任务(Tasks)，这些任务的运行需要同时使用多个服务器的CPU核心、GPU、FPGA板卡或其他协处理器，以谷歌公布的cluster-data数据集为例，其中有90％的任务需要一个以上的CPU核心，并且近20％的任务需要不少于1000个CPU核心，对于一个MSJ，它的所有任务必须要同时被正确调度和启动，它才可以正常运行。

在中国发明专利申请号：CN201910424159.9中公开有一种计及用户效用的机组组合调度的决策，该计及用户效用的机组组合调度的决策，虽然，综合考虑用户参与需求响应的效益和成本，并将需求响应补偿纳入分析社会效益的决策中，即将用户参与DR的补偿机制纳入到考虑用户效用的机组组合优化决策中，建立了计及用户效用补偿的机组组合优化策略，以实现社会效益最大化，但是，该计及用户效用的机组组合调度的决策，在分布式云计算集群中，对于多服务器作业，如何在任务执行时间无法准确预测和需要遵守群组调度原则的条件下，最大化服务质量或群体收益。

因此，提出一种多服务器作业的优化调度方法来解决上述问题很有必要。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多服务器作业的优化调度方法，解决了在分布式云计算集群中，对于多服务器作业，如何在任务执行时间无法准确预测和需要遵守群组调度原则的条件下，最大化服务质量或群体收益的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种多服务器作业的优化调度方法，包括以下步骤：

1)提出一种通用的、基于二分图的群组调度模型，优化目标为Asw最大化，MSJ包括并行深度学习训练任务组成和并行深度学习训练的工作流程；

2)基于该模型，提出一种通过历史奖励数据来学习MSJ在不同服务器上运行时间的期望和方差的框架，针对MSJ的调度称为群组调度吗，按照输入数据的不同，调度问题可以划分为如下两大类：批处理作业的调度和流式作业的调度；

3)基于该学习框架，提出一种基于遗传算法的Asw最大化策略，能够在保证多种类型的约束成立的条件下使得社会整体收益最大。

可选的，所述并行深度学习训练任务组成为：一个参数服务器(ParameterServer，是一个运行在某台物理机或虚拟机的进程，以下简称PS)，多个工作节点(Worker，是执行反向传播的进程)。

可选的，所述并行深度学习训练的工作流程为：在每一轮迭代中，每一个Worker根据自己分得的局部数据集通过反向传播算法更新自己的局部梯度，然后各自将局部梯度通过网络传送给PS。

可选的，所述PS收集到全部的局部梯度后，通过取平均值的操作得到本轮的全局梯度，PS将全局梯度通过网络再传送给每一个Worker，进入下一轮迭代。