[发明专利]一种面向分布式深度学习训练任务的高效资源分配系统

摘要

本发明公开了一种面向分布式深度学习训练任务的高效资源分配系统，包括：初始资源配置模块；LAS队列；二分类器；性能模型；多级反馈队列MLFQ，首先将分布式深度学习作业分为可预测作业和不可预测作业，并对两类作业设置不同的作业优先级和资源调整方案。针对于可预测作业，资源调整的收益往往是可以预测的，因此每次调整都可以给集群带来收益。而不可预测作业，其收益往往不可知。此外，可预测作业和不可预测作业的优先级计算方式不同，可预测作业综合考虑资源调整和剩余作业完成时间来计算优先级，而不可预测作业通过已接受服务数来计算优先级。为了统一两类作业在集群中的统一调度，我们采用波达计数法来解决该问题。