[发明专利]基于低阶高斯分布的多智能体协同探索方法及装置

权利要求书

1.一种基于低阶高斯分布的多智能体协同探索方法，其特征在于，包括以下步骤：

步骤S1，获取多智能体决策下的状态轨迹，将所述状态轨迹存入数据缓存器；

步骤S2，构建各个智能体的主值网络、各个智能体的主策略网络、QMIX主值网络、主协同探索网络、各个智能体的副值网络、各个智能体的副策略网络、QMIX副值网络、副协同探索网络；

步骤S3，基于所述状态轨迹和值函数分解算法的多智能体协同探索过程，对所述各个智能体的主值网络、所述各个智能体的主策略网络、所述QMIX主值网络、所述主协同探索网络、所述各个智能体的副值网络、所述各个智能体的副策略网络、所述QMIX副值网络、所述副协同探索网络进行更新；

步骤S4，根据所述步骤S3更新的多个网络生成更新后的策略模型，对所述策略模型进行测试；

所述步骤S3进一步包括：

步骤S31，初始化仿真环境env、所述各个智能体的主值网络Q_i、所述各个智能体的主策略网络π_i、所述QMIX主值网络QMIX、所述主协同探索网络f_ψ、所述各个智能体的副值网络Q′_i、所述各个智能体的副策略网络π′_i、所述QMIX副值网络QMIX'、所述副协同探索网络f′_ψ；

步骤S32，在当前状态依据策略选取动作转移到下一状态并得到当前时刻的奖励值r_t时，根据所述当前状态o_t、当前动作α_t、所述当前时刻的奖励值r_t和所述下一状态o_t+1组成四元组(o_t,α_t,r_t,o_t+1)，并将所述四元组存储进生成数据缓存器B_π；

步骤S33，在所述生成数据缓存器B_π中的数据量达到预设数据量阈值时，每个时间步取出部分数据对所述各个智能体的主值网络Q_i、所述QMIX主值网络QMIX进行更新；

步骤S34，每隔预设时间利用策略梯度对所述各个智能体的主策略网络和所述主协同探索网络进行更新，并对所述各个智能体副值网络Q′_i、所述各个智能体的副策略网络π′_i、所述QMIX副值网络QMIX'、所述副协同探索网络f′_ψ的参数进行软更新；

所述步骤S33进一步包括：

步骤S331，依据所述各个智能体的策略网络π′_i和随机扰动ε_N、ε_M选择下一时刻的动作：

α＝μ+σε_N+K_N×Mε_M

其中，μ＝[μ_i]_i∈D，σ＝[σ_i]_i∈D，μ_i,σ_i＝π′_i(o′_i；φ′_i)，μ_i为智能体i主策略网络输出的均值，σ_i为智能体i主策略网络输出的方差，i为各个智能体的编号，D为经验回放池，π′_i为智能体i的副策略网络，o′_i为智能体i在下一时刻的观测，φ′_i为智能体i副策略网络的参数，K_N×M＝f′_ψ(s'；ψ')，f′_ψ为多智能体的副协同探索网络，s为全局观测，ψ为协同探索网络的参数；

步骤S332，利用所述QMIX主值网络QMIX计算混合状态-动作值

其中，为所述QMIX主值网络QMIX的两层全连接网络，并对该网络的权重取绝对值，s为所有智能体的全局观测，为所述各个智能体的主值网络Q_i输出的Q值；

步骤S333，利用所述QMIX副值网络QMIX'计算目标混合状态-动作值

其中，为QMIX副值网络QMIX'的两层全连接网络，并对该网络的权重取绝对值，s'为所有智能体的下一时刻的全局观测，为各个智能体主值网络Q_i输出的Q'值；

步骤S334，计算多智能体的目标状态-动作值Q_target：

Q_target(o,α)＝r(o,α)+γE_S'～P[V_tot(s')]

其中，Q_target(o,α)为目标总体状态动作值函数，r(o,α)为当前时刻的奖励，α为熵正则项系数且α0，γ为折扣回报因子，E_S'～P为状态服从转移概率P时的期望，V_tot(s')＝E_α'～π'[Q′_tot(s',α')-αlog(π'(α'|s'))]，V_tot(s')为目标总体状态值函数，E_α'～π'为动作服从策略π'时的期望，Q′_tot为QMIX副值网络QMIX'输出的目标混合状态-动作值，s'为所有智能体的下一时刻的全局观测，α'为下一时刻的动作，-log(π'(α'|s'))为在下一时刻多智能体所选动作的总体熵；

步骤S335，利用梯度下降法更新所述各个智能体主值网络的参数θ_i，QMIX主值网络QMIX的参数

其中，为混合状态-动作值，Q_target为多智能体的目标状态-动作值，N为从生成数据缓存器B_π中采集到的样本数量；

所述步骤S34中，对所述各个智能体的主策略网络π_i和所述各个智能体的主协同探索网络f_ψ进行更新包括：

其中，s_k为k时刻的全局观测，α_-i为除智能体i外，其它智能体的动作；

所述S34中对所述各个智能体的副值网络Q′_i、所述各个智能体的副策略网络π′_i、所述QMIX副值网络QMIX'的参数、所述副协同探索网络f′_ψ进行软更新过程为：

φ′_i←τφ_i+(1-τ)φ‘_i

θ′_i←τθ_i+(1-τ)θ‘_i

ψ'←τψ+(1-τ)ψ'

其中，φ′_i为各个智能体副策略网络的参数，φ_i为各个智能体主策略网络的参数，θ′_i为各个智能体的副值网络的参数，θ_i为各个智能体的主值网络的参数，为QMIX副值网络的参数，为QMIX主值网络的参数，ψ'为副协同探索网络的参数，ψ为主协同探索网络的参数，τ为超参数，用于控制从主网络更新副网络参数的程度。