[发明专利]一种大型复杂系统分布式多智能体确定性策略控制方法

权利要求书

1.一种大型复杂系统分布式多智能体确定性策略控制方法，其特征在于，所述方法包括：

确定大型复杂系统中各控制节点对应的各智能体的本节点控制目标，设置每个所述智能体的奖励函数；

随机获取所述大型复杂系统的初始化状态，确定当前控制周期内所述智能体的动作对应的动作集合，基于所述动作集合以及所述奖励函数对应的环境奖励集合得到经验集合，存储所述经验集合至经验缓冲区并更新所述初始化状态；

根据所述经验缓冲区对所述智能体进行训练直至遍历整个所述智能体；

重复所述确定当前控制周期内所述智能体的动作对应的动作集合的步骤，直至遍历所有所述智能体，得到目标深度策略网络；

重复所述随机获取所述大型复杂系统的初始化状态的步骤，对所述目标深度策略网络进行收敛，基于收敛后的所述目标深度策略网络对所述大型复杂系统进行控制。

2.根据权利要求1所述的方法，其特征在于，所述确定大型复杂系统中各控制节点对应的各智能体的本节点控制目标，包括：

设置大型复杂系统的总体控制目标；

对所述总体控制目标进行分解，将所述大型复杂系统的各个控制节点作为多智能体，使每个智能体分别将对应的分解后的所述总体控制目标作为本节点控制目标。

3.根据权利要求1所述的方法，其特征在于，所述确定当前控制周期内所述智能体的动作对应的动作集合，包括：

通过确定性策略计算获取当前控制周期内所述智能体的动作a_i：

其中为深度策略网络，θ_i为深度策略网络参数，o_i为当前智能体能够观测到的局部状态；

确定所述动作a_i对应的动作集合

4.根据权利要求1所述的方法，其特征在于，所述基于所述动作集合以及所述奖励函数对应的环境奖励集合得到经验集合，存储所述经验集合至经验缓冲区并更新所述初始化状态，包括：

获取所述大型复杂系统的环境奖励集合以及新的大型复杂系统状态x’；

基于所述动作集合α、环境奖励集合r、初始化状态x、新的大型复杂系统状态x'生成经验集合(x,a,r,x')；

将所述经验集合(x,a,r,x')存入经验缓存区D，并更新所述初始化状态x＝x'。

5.根据权利要求1所述的方法，其特征在于，所述根据所述经验缓冲区对所述智能体进行训练，包括：

从所述经验缓存区D中随机提取总数为S个的训练集合(x^j,a^j,r^j,x'^j)，根据下述公式得到深度策略网络的训练目标：

其中，γ是系统折扣，取值范围0γ1；

根据下述公式计算所述智能体的深度策略网络损失函数：

根据下述公式计算所述深度策略网络训练过程中的最快梯度：

更新目标深度策略网络参数：

θ'_i←τθ_i+(1-τ)θ'_i

其中，τ是深度策略网络参数的更新率，调整τ可以调整训练的速度，取值范围一般取0τ0.5。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。