[发明专利]一种多智能体通信协作方法

权利要求书

1.一种多智能体通信协作方法，其步骤包括：

1)构建智能体并设定智能体的属性和规则，调用或构建智能体的运动环境；其中所述智能体包括一个策略网络、一个内在值网络和一个门控机制；

2)构建智能体通信信道，智能体通信信道根据各智能体t时刻传来的信息m为各智能体生成消息c并发送给各智能体；

3)对于任意一个智能体i，该智能体i以局部观察和消息为输入，输出智能体i的动作策略和交流消息其中，表示智能体i在时刻t的局部观察，为智能体i在时刻t所作出的动作，表示智能体i在时刻t的向智能体通信信道发送的信息，表示智能体i在时刻t从智能体通信信道收到的消息，表示智能体i在时刻t发出的消息所包含的内容，表示智能体i在时刻t智能体i的内在值网络的输出，表示消息的重要性；其中，智能体i利用观测编码器对局部观察进行编码输出然后将和从智能体通信信道中接收到的信息相结合，作为策略网络中动作生成器的输入，输出智能体i所要采取的动作根据外部沟通重要性和内部重要性计算更新然后将和v^t组合生成消息其中，β_e为平衡内在值的超参数，β_i为平衡外在值的超参数；然后智能体i中的门控机制根据观察结果来决定是否进行通信，即当内在重要性大于阈值δ时，则向智能体通信信道发送消息

4)智能体的运动环境基于智能体决策和交流框架采样得到数据{τ₁,τ₂,......,τ_n}并行训练n个智能体，其中第i个数据τ_i＝(s₀,a₀,r₀,s₁,a₁,r₁,s₂,.......,s_T,a_T,r_T),i∈(1,n),s₀表示环境的初始状态、a₀表示智能体在时刻0生成的决策行为、r₀表示决策行为a₀的即时奖励，s_T表示终止时刻T时的环境状态、a_T表示智能体在终止时刻T生成的决策行为、r_T表示决策行为a_T的即时奖励；使用强化学习的损失函数对智能体中的策略网络进行训练，以达到最大化团队奖励的目标，θ_p表示策略网络的参数，T表示智能体行为轨迹的终止时刻，γ表示折扣因子，r_t表示在时刻t环境所反馈的团队奖励。

2.如权利要求1所述的方法，其特征在于，智能体通信信道对各智能体t时刻传来的信息m进行聚合为智能体i生成消息然后智能体i将与局部观察输入智能体i的策略网络得到

3.如权利要求1所述的方法，其特征在于，步骤4)中，智能体的运动环境首先根据联合行动过渡到下一时刻的状态s_t+1，智能体i收到下一时刻的局部观察结果和一个团队奖励其中为智能体n在时刻t所作出的动作，r表示在状态s_t下n个智能体时刻t分别采取动作时环境所反馈的奖励；然后计算最大化团队奖励作为下一时刻的团队奖励发送给各智能体。

4.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至3任一所述方法中各步骤的指令。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一所述方法的步骤。