[发明专利]一种在干扰条件下多智能体协同合作的训练方法及系统

权利要求书

1.一种在干扰条件下多智能体协同合作的训练方法，其特征在于，包括：

基于构建的训练场景，在至少一个干扰智能体的信号干扰下，多个合作智能体利用各自通信功能连接通信范围内的合作智能体，构建合作智能体组；其中，隶属于所述合作智能体组内的各合作智能体共享感知视野；

基于共享的感知视野，以合作智能体组内的各智能体与环境交互的累计奖励最大为目标，利用多智能体深度确定性策略梯度MADDPG对每个智能体的行为策略进行训练，得到以阻止目标智能体到达目标区域为目的的多智能体协同合作策略；

所述训练场景的构建，包括：

构建多个合作智能体、多个目标智能体和多个干扰智能体；

基于各合作智能体、各目标智能体和各干扰智能体之间的通信干扰和障碍物带来的通信中断及运动干扰构建训练场景；

构建的合作智能体用于对处于自身感知半径内的目标智能体进行巡逻，并与通信范围内的合作智能体共享感知视野，产生协同行动、救援行动和巡逻行动；

构建的目标智能体具有全局视角，用于在避免被合作智能体围捕到前提下，进入目标区域获取胜利；

构建的干扰智能体通过发出阻塞信号来破坏合作智能体之间的联通；

所述基于共享的感知视野，以合作智能体组内的各智能体与环境交互的累计奖励最大为目标，利用多智能体深度确定性策略梯度MADDPG对每个智能体的行为策略进行训练，得到以阻止目标智能体到达目标区域为目的的多智能体协同合作策略，包括：

基于共享的感知视野，将同一合作智能体组内各合作智能体的动作与状态信息放入MADDPG网络中，以各合作智能体与环境交互的累计奖励作最大为目标，并以每个己方智能体的行为策略作为优化变量进行集中训练，得到每个合作智能体的行为策略；

每个合作智能体分别执行各自的行为策略，以阻止目标智能体到达目标区域；

其中，基于每个合作智能体的行为策略构成多智能体协同合作策略，所述协同合作包括：协同行动、救援行动和巡逻行动；

所述MADDPG网络的训练，包括：

S301初始化估计actor网络和估计critic网络的参数；

S302对环境进行随机动作探索，将从环境中采样到的信息(x，a，r，x′)存入到回放池中；其中x是所有合作智能体在t时刻对环境的联合观察值，a是所有合作智能体t时刻分别执行的动作，r是所有合作智能体动作执行完后分别得到的环境的奖励反馈，x′是所有合作智能体动作a执行完后，所有合作智能体在t+1时刻对环境的联合观察；

S303从所述回放池中提取样本数据(x，a，r，x′)，将所述回放池中动作a和环境观察信息输入到估计critic网络，计算出估计Q值，将环境观察信息输入到估计actor网络，计算出合作智能体在环境中执行的动作a；

S304使用损失函数来更新估计critic网络，并使用优化目标函数来更新估计actor网络；

S305使用软更新，将估计网络的参数拷贝至目标网络，当达到训练次数时结束训练，否则执行S303；

所述损失函数如下式：

式中：L(θ_i)为损失函数；E_{S，a，R，S′}为在基于当前/下一阶段状态、动作、奖励S，S′，a，R的变量基础上所求的期望；为在一定策略μ下的合作智能体i的估计Q值；m为合作智能体组内相互连通智能体的个数；y为基于奖励ri和更新后策略μ′下合作智能体i的现实Q值；

其中，所述基于奖励r_i和更新后策略μ′下合作智能体i的现实Q值y，按下式计算：

式中：γ为折扣系数；为现实critic网络在基于更新后的策略μ′所生成的具体Q值；μ′(o′_i)为根据下一观测状态o′_i更新后的策略μ′；

相应的，所述目标函数如下式：

式中：为目标函数J(μ_i)的梯度求解；θ_i为合作智能体i的actor的网络参数；为对参数θ_i进行求导，对θ_i进行更新；μ_i为合作智能体i的策略；a_i为合作智能体i的动作；o_i为合作智能体i的观测值；S^(m)为合作智能体组内的状态集合；a^(m)为合作智能体组内的动作集合；a_i＝μ_i(o_i)为基于观察向量o_i，通过策略函数μ_i所求出的具体动作。