[发明专利]深度强化学习模型的处理方法及装置、介质、电子设备

权利要求书

1.一种深度强化学习模型的处理方法，其特征在于，配置于具有模型训练机器以及交互机器的模型训练系统，所述方法包括：

通过模型训练机器对深度强化学习模型进行划分，得到多个模型碎片，并通过模型分发进程将各所述模型碎片发送至中间节点；

通过所述中间节点对所述模型碎片进行拼接，得到完整的序列化模型，并将所述完整的序列化模型发送至所述交互机器中；

通过所述交互机器对所述完整的序列化模型进行反序列化处理，得到所述深度强化学习模型，并通过所述深度强化学习模型与预设的虚拟环境进行交互，得到训练数据；

通过所述交互机器将所述训练数据发送至所述模型训练机器，并通过所述模型训练机器通过所述训练数据对所述深度强化学习模型进行训练。

2.根据权利要求1所述的深度强化学习模型的处理方法，其特征在于，对深度强化学习模型进行划分，得到多个模型碎片，包括：

计算所述中间节点的节点数量，并根据所述节点数量确定所述深度强化学习模型所能划分的碎片数量；

根据所述碎片数量对所述深度强化学习模型进行等份划分，得到多个模型碎片。

3.根据权利要求1所述的深度强化学习模型的处理方法，其特征在于，通过模型分发进程将各所述模型碎片发送至中间节点，包括：

通过预设的分布式执行引擎启动所述模型分发进程；

对所述模型碎片进行编码，并基于所述模型碎片的碎片编码的顺序，通过模型分发进程将各所述模型碎片一对一的发送至所述中间节点。

4.根据权利要求1所述的深度强化学习模型的处理方法，其特征在于，通过所述中间节点对所述模型碎片进行拼接，得到完整的序列化模型，包括：

通过所述中间节点对自身接收到的当前模型碎片转发至除开自身以外的其他节点，并接收其他节点发送的除当前模型碎片以外的其他所有模型碎片；

根据当前模型碎片以及其他所有模型碎片的碎片编码对所述当前模型碎片以及其他所有模型碎片进行排序；

对排序后的当前模型碎片以及其他所有模型碎片进行拼接，得到完整的序列化模型。

5.根据权利要求1所述的深度强化学习模型的处理方法，其特征在于，将所述完整的序列化模型发送至所述交互机器中，包括：

通过所述中间节点所具有的进程间通信的方式，将所述完整的序列化模型发送至所述交互机器中包括的交互进程上。

6.根据权利要求1所述的深度强化学习模型的处理方法，其特征在于，通过所述深度强化学习模型与预设的虚拟环境进行交互，得到训练数据，包括：

通过所述深度强化学习模型与预设的虚拟环境进行交互，得到多个交互序列，其中，所述交互序列包括多个采样数据，每一个所述采样数据包括所述预设的虚拟环境的第一状态、决策动作、以及在所述虚拟环境处于所述第一状态对应的状态下执行所述决策动作所得到的回报值；

根据各所述交互序列，生成所述训练数据。

7.根据权利要求6所述的深度强化学习模型的处理方法，其特征在于，通过所述训练数据对所述深度强化学习模型进行训练，包括：

针对所述训练数据中的每一采样数据，确定所述深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在所述采样数据对应的决策策略下所述优势函数值的优势期望；

针对所述训练数据中的每一采样数据，根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值；

基于所述动作价值确定所述深度强化学习模型的动作值函数的更新梯度信息，并根据所述更新梯度信息对所述深度强化学习模型进行更新。