[发明专利]用于分布式计算集群调度的深度强化学习模型训练方法、装置及调度方法

权利要求书

1.用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，所述方法包括：

采用深度强化学习框架建立若干第一调度模型和第二调度模型，其中，若干第一调度模型中每个第一调度模型均包括第一深度强化学习智能体，所述第二调度模型均包括第二深度强化学习智能体；所述若干第一调度模型中的每个第一调度模型均包括第一执行环境；

通过若干第一调度模型确定训练样本集，其中，所述训练样本集包括若干训练样本，若干训练样本中的每个训练样本均包括环境状态以及环境状态对应的奖励信息；所述奖励信息为所述第一调度模型中的第一执行环境基于所述环境状态确定的调度动作所确定的；所述环境状态至少包括：任务槽数量，每个作业的总工作量，总作业数；所述调度动作至少包括：为每个作业分配任务槽；

其中，所述通过若干第一调度模型确定训练样本集具体包括：

控制所述若干第一调度模型中的各所述第一调度模型同时工作，并控制各所述第一调度模型中的各所述第一执行环境同时将对应的环境状态输入各自对应的所述第一深度强化学习智能体；通过所述第一深度强化学习智能体输出调度动作，并将所述调度动作输入所述第一执行环境；

通过所述第一执行环境输出所述环境状态对应的奖励信息以及下一环境状态；

继续执行将环境状态输入该第一调度模型中的第一深度强化学习智能体的步骤，以得到所述第一调度模型对应的预设数量的训练样本；

基于各第一调度模型对应的预设数量的训练样本，确定训练样本集；

基于所述训练样本集训练所述第二调度模型，以得到经过训练的模型参数；

基于所述模型参数更新各第一调度模型中的第一深度强化学习智能体的模型参数，并继续执行通过若干第一调度模型确定训练样本集的步骤，直至第二调度模型满足预设条件，以得到用于分布式计算集群的深度强化学习模型；

其中，所述深度强化学习模型用于基于分布式计算集群的系统状态信息，确定调度动作，为分布式计算集群接收到的用户端发送的作业分配对应的任务槽；所述任务槽用于表征所述分布式计算集群的计算资源。

2.根据权利要求1所述用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，各第一调度模型中的第一深度强化学习智能体的模型结构均与第二调度模型中的第二深度强化学习智能体的模型结构相同。

3.根据权利要求1所述用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，若干第一调度模型中存在至少两个第一调度模型的执行环境配置的环境负载不同。

4.根据权利要求3所述用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，若干第一调度模型中存在至少两个第一调度模型对应的训练样本的数量不同。

5.根据权利要求1所述用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，所述基于所述训练样本集训练所述第二调度模型，以得到经过训练的模型参数具体包括：

将所述训练样本集中的训练样本输入所述第二调度模型中的第二深度强化学习智能体；

控制第二深度强化学习智能体基于训练样本修正其自身配置的模型参数，以得到经过训练的模型参数。

6.根据权利要求1所述用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，所述基于所述模型参数更新各第一调度模型中的第一深度强化学习智能体的模型参数具体包括：

对于若干第一调度模型中的每个第一调度模型，利用第一调度模型获取对第二调度模型进行训练得到的模型参数；

采用该模型参数替换该第一调度模型中的第一深度强化学习智能体配置的模型参数，以更新该第一调度模型的模型参数。

7.根据权利要求1所述用于分布式计算集群调度的深度强化学习模型训练方法，其特征在于，所述深度强化学习模型为所述第二调度模型中的第二深度学习智能体。