[发明专利]一种多智能体通信协作方法

说明书

本发明公开了一种多智能体通信协作方法，其步骤包括：1)构建智能体并设定智能体的属性和规则，调用或构建智能体的运动环境；其中所述智能体包括一个策略网络、一个内在值网络和一个门控机制；2)构建智能体通信信道，智能体通信信道根据各智能体t时刻传来的信息m为各智能体生成消息c并发送给各智能体；3)对于任意一个智能体i，该智能体i以局部观察和消息为输入，输出智能体i的动作策略和交流消息4)智能体的运动环境基于智能体决策和交流框架采样得到数据并行训练n个智能体，以达到最大化团队奖励的目标。本方法增加了内部动机模块，在原有方法忽略内在价值的缺陷是一个很好的补充。

技术领域

本发明属于深度强化学习多智能体协作领域，具体涉及一种基于内在动机的多智能体通信协作方法。

背景技术

对人类来说，交流是促进文明进步的关键工具。在很多现实场景中，智能体之间的高效通信是实现多智能体合作的一种有效方式。然而，漫无目的和毫无动机的信息共享可能不起作用，甚至降低多智能体合作的表现。在过去，多智能体的通信行为是由来自环境的外部奖励所激励的，可以归结为“交流什么奖励了你”。该机制被广泛使用，并在多智能体通信中取得了重大进展。然而，当外在奖励稀疏或不可分解时，这种机制可能不起作用。

目前，从提取信息和根据输入的信息做出决定方向看，Sainbayar Sukhbaatar等人[11]提出了一种名为CommNet的结构，可以从局部观察中学习连续的消息。JiechuanJiang[5]，Amanpreet Singh[9]等人设计了一个门控网络来输出二进制通信动作，SaiQian Zhang[15]等人提出了一种启发式机制，只有当代理不能做出自信的决策时，才会发生通信；Daewoo Kim[6]/Hangyu Mao[7]、Rundong Wang[13]等人采用基于权重的调度器来控制通信，它只会将通信资源分配给具有重要观察结果的代理。为了区分传入消息，Jiechuan Jiang[5]等人利用双向LSTM单元，可以忽略无用的信息来集成传入消息，Abhishek Das[3]等人使用由发送人和接收方共同生成的软注意机制来计算每条消息的重要权重。此外，Sai Qian Zhang[14]等人通过引入两个信息理论的正则化器来实现目标通信。从框架的角度来看，Daewoo Kim[6]，Hangyu Mao[7]、Rundong Wang[13]等人的工作旨在决定何时交流，Abhishek Das[3]等人建议决定由谁交流，如果能将二者结合起来，便能够同时享受两种方法的好处。

内在动机是指由内部回归驱动的行为[2]。近年来，内在值被引入到强化学习领域，以探索新的行为。提出了各种依赖于状态的奖励来衡量内在值[1,4,8,10,12]。但是，大多数现有的内在值不能扩展到分散的多代理任务，因为代理只在执行过程中限制访问。现有多智能体通信领域基本都在使用单一的外部值信息，而内在值是对现有解决方案的一个很好的补充。

以下为所述的参考文献：

[1]Marc Bellemare,Sriram Srinivasan,Georg Ostrovski,Tom Schaul,DavidSaxton,and Remi Munos.2016.Unifying count-based exploration and intrinsicmotivation.In Advances in Neural Information Processing Systems.1471–1479。

[2]Dennis Coon and John O Mitterer.2012.Introduction to psychology:Gateways to mind and behavior with concept maps and reviews.Cengage Learning。