[发明专利]分布式模型训练方法、系统及相关装置

权利要求书

1.一种分布式模型训练方法，其特征在于，应用于部署有DDPG模型的决策系统，所述决策系统包括管理设备以及多个终端设备，所述DDPG模型包括Critic网络以及Actor网络，所述Actor网络包括第一在线网络以及第二在线网络，每个所述终端设备部署有所述第一在线网络，所述管理设备部署有所述Critic网络以及所述第二在线网络，所述方法包括：

执行至少一次模型训练流程，直到所述DDPG模型满足预设收敛条件；

所述模型训练流程，包括：

针对每个所述终端设备，所述终端设备根据自身的第一设备状态，通过所述第一在线网络生成与所述第一设备状态相对应的动作；

所述终端设备将所述第一设备状态对应的策略经验存放至经验池，其中，所述策略经验包括所述第一设备状态、所述动作、执行所述动作后的第二设备状态以及所述动作的即时奖励；

所述管理设备对所述经验池进行采样，获得策略样本；

所述管理设备根据所述策略样本，通过所述Critic网络调整所述第二在线网络的模型参数；

当满足预设同步条件，则所述管理设备将调整后的第二在线网络同步至每个所述第一在线网络，以使每个同步后的第一在线网络与所述调整后的第二在线网络具有相同的参数。

2.根据权利要求1所述的分布式模型训练方法，其特征在于，所述动作包括终端任务本地执行或者卸载至服务器执行，所述终端设备将所述第一设备状态、所述动作、执行所述动作后的第二设备状态以及所述动作的即时奖励存放至经验池之前，所述管理设备通过表达式确定所述动作的即时奖励，所述表达式为：

式中，表示终端设备在时间片执行所述终端任务的任务延时，表示终端设备在时间片执行所述终端任务的任务能耗，表示预设权重。

3.根据权利要求2所述的分布式模型训练方法，其特征在于，所述表达式还配置有至少一条约束条件，当满足任意一条所述的约束条件时，则生成惩罚因子，所述惩罚因子用于减小所述即时奖励；

所述约束条件包括：

执行所述终端任务需要的计算资源不能超过所述终端设备与所述服务器各自的资源上限；

所述终端任务只允许在所述终端设备执行或者所述服务器执行；

执行所述终端任务的延时不能超过时长阈值；

执行所述终端任务的能耗不能超过终端设备与所述服务器各自的储能上限。

4.一种决策系统，其特征在于，所述决策系统部署有DDPG模型，所述决策系统包括管理设备以及多个终端设备，所述DDPG模型包括Critic网络以及Actor网络，所述Actor网络包括第一在线网络以及第二在线网络，每个所述终端设备部署有所述第一在线网络，所述管理设备部署有所述Critic网络以及所述第二在线网络；

执行至少一次模型训练流程，直到所述DDPG模型满足预设收敛条件；

所述模型训练流程，包括：

针对每个所述终端设备，所述终端设备用于根据自身的第一设备状态，通过所述第一在线网络生成与所述第一设备状态相对应的动作；

所述终端设备用于将所述第一设备状态对应的策略经验存放至经验池，其中，所述策略经验包括所述第一设备状态、所述动作、执行所述动作后的第二设备状态以及所述动作的即时奖励；

所述管理设备用于对所述经验池进行采样，获得策略样本；

所述管理设备还用于根据所述策略样本，通过所述Critic网络调整所述第二在线网络的模型参数；

当满足预设同步条件，则所述管理设备将调整后的第二在线网络同步至每个所述第一在线网络，以使每个同步后的第一在线网络与所述调整后的第二在线网络具有相同的参数。