[发明专利]一种面向分布式深度学习训练任务的高效资源分配系统

权利要求书

1.一种面向分布式深度学习训练任务的高效资源分配系统，其特征自于，包括：

初始资源配置模块，其用于为训练作业分配一个初始资源配置；

LAS队列，其用于将作业按照获得服务数升序排序；

二分类器，其用于识别LAS队列单元内的不可预测作业是否转变为可预测作业；

性能模型，其用于估计作业的作业完成时间JCT；

正效益队列和负效益队列，其用于分别放置JCT增加或减少的作业；

多级反馈队列MLFQ，其用于针对可预测LAS队列、不可预测LAS队列、正效益队列和负效益队列，基于波达计数的队列融合策略，将这四个队列结合起来，生成一个综合考虑多个因素的多级反馈队列；

资源分配调整单元，其用于根据MLFQ队列调整对所有作业的资源分配。

2.根据权利要求1所述的一种面向分布式深度学习训练任务的高效资源分配系统，其特征自于，以每个作业的5个指标作为输入来设计二分类器，其中5个指标包括最大完工时间、精度、损失值、吞吐量和是否重新提交，二分类器采用机器学习算法来识别可预测作业。

3.根据权利要求1所述的一种面向分布式深度学习训练任务的高效资源分配系统，其特征自于，

所述二分类器使用K邻近、逻辑回归、随机森林回归、支持向量机、多层感知机MLP时的准确率结果。

4.根据权利要求3所述的一种面向分布式深度学习训练任务的高效资源分配系统，其特征自于，

采用组合子模型策略来预测作业的剩余步骤数目s_i和步骤处理速度q_i，使用c_i表示作业的完成时间，上述三个因子具有以下函数关系：

其中s_i和q_i分别代表作业i的剩余训练步骤数和单个步骤的处理速度。

5.根据权利要求4所述的一种面向分布式深度学习训练任务的高效资源分配系统，其特征自于，

所述组合子模型包括用于在参数服务器系统中，对一批输入数据的进行处理，包括前向传播、后向传播、数据传输、模型更新、数据拉取的速度模型。

6.根据权利要求5所述的一种面向分布式深度学习训练任务的高效资源分配系统，其特征自于，

所述组合子模型包括用于来描述每个可预测作业的收敛速度的步数模型。