[发明专利]分布式深度学习推理云平台任务调度方法

权利要求书

1.一种分布式深度学习推理云平台任务调度方法，其特征在于：包括以下步骤：

S1.将用户在云平台上创建的任务输入任务队列中；

S2.任务控制器从任务队列中提取目标任务，并将目标任务对应的服务分割成若干子服务进行分布式处理；

S3.并行模式选择器根据子服务生成相应的模型；

S4.任务执行器根据并行模式选择器所产生的模型执行对应的子服务；

并行模式选择器基于Q-learning算法选择并行参数并生成相应的模型，具体如下：

基于任务完成时间T、加速卡利用率U以及加速卡现存使用量M构建奖励函数Reward：

Reward＝μ₁N(T_m-T)+μ₂N(U_m-U)+μ₃N(M_m-M)；

其中，μ₁、μ₂和μ₃均为调整系数,N(·)为归一化函数；

构建状态集S，其中，状态集S由推理平均准确率A、推理任务完成时间T、加速卡利用率U和加速卡现存使用量M构成；

构建动作集A，该动作集表示并行参数的选择，包括数据并行度(1，2，4，8，16，32)，模型并行度(1，2，4，8，16，32)，batch size(1，4，8，16，32，64，128)；

构建奖励矩阵R：奖励矩阵R中相同行不同列设置为动作集，不同行相同列设置为状态集；由于相同的并行参数在一次任务中只能选择一次，对状态转移进行限制，当状态不可转移时设置为0，可转移时设置为1；

Q值表训练：采用多个典型的并行模型对Q值表进行训练，其中，Q值表的更新公式为：

Q_t+1＝r_t+γmaxQ_t(s',a')；γ为折扣因子，r_t为当前所获得的实际奖励，s'表示下一个状态，a'表示下一个动作；

在Q值表训练完成后，并行模式选择器根据子服务在训练好的Q指标中寻找满足奖励函数的最优路径，并通过此路径的动作集参数确定当前资源状态下的并行模型。

2.根据权利要求1所述分布式深度学习推理云平台任务调度方法，其特征在于：步骤S2中，在任务控制器从任务队列中提取目标任务前，由资源监控器判断当前是否可执行任务：

若当前集群资源无空闲或者空闲资源较低，那么任务队列中的任务将处于等待状态；

若当前集群资源具有空余并满足任务执行需求时，则判断当前可执行任务。

3.根据权利要求2所述分布式深度学习推理云平台任务调度方法，其特征在于：任务控制器提取目标任务具体如下：

当前可执行任务时，任务控制器从任务队列中选择最先进入到任务队列的任务作为目标任务。

4.根据权利要求1所述分布式深度学习推理云平台任务调度方法，其特征在于：步骤S2中，任务控制器判断目标任务是否具有对应的服务，若不存在，则创建目标任务的服务。