[发明专利]一种支持用户QoS感知的深度学习任务调度方法

权利要求书

1.一种支持用户QoS感知的深度学习任务调度方法，包括离线任务分析评估和在线实时任务调度两个部分，离线任务评估是对用户提交的深度学习模型进行评估和分析，通过分析任务的性能，构建离线的性能预测模型；在线实时任务调度，基于上述的性能预测模型，实时监控系统当前的负载情况，结合用户提交的任务QoS，决定任务的执行顺序和放置策略，完成调度和执行的过程，其特征在于，

具体步骤如下：

A.提交网络模型文件以及相关应用参数信息，由任务调度器进行分析和识别，计算出最优放置策略之后，由调度器直接将任务调度到指定节点和加速器上进行执行，不需要进行人工干预；

B. 离线评估与性能预测模型构建，对于第一次提交的深度网络模型，分别测试不同应用参数和不同的划分放置策略下的任务执行性能，并构建多项式拟合的性能预测模型，对于之前离线评估过的模型，直接从已有的模型数据库中调用构建好的性能预测模型，不需要再进行离线过程；

C.提出轻量级的评估策略，

D. 在线实时任务调度。

2.根据权利要求1所述的一种支持用户QoS感知的深度学习任务调度方法，其特征在于，所述轻量级的评估策略，具体为：假定批次大小有A种选择，异构集群规模有B个节点，每个节点有C块GPU，则只需要A+B+C次离线评估实验即获得足够的数据来拟合性能预测模型。

3.根据权利要求1所述的一种支持用户QoS感知的深度学习任务调度方法，其特征在于，所述在线实时任务调度，具体内容是：

在线任务调度采用事件驱动模式，每次有任务完成或新任务到达就执行一次任务调度，每次调度时遍历整个任务等待队列中的所有任务，对于每一个任务，结合自身的QoS和该任务的性能预测模型，选择任务放置策略并对所有任务进行重新排序，最后基于当前系统的资源负载状况，按序将任务调度到集群上行，同时等待下一个调度点的时机，直至所有任务完成调度。

4.根据权利要求3所述的一种支持用户QoS感知的深度学习任务调度方法，其特征在于，所述排序的原则是基于“最小等待余量优先”原则。