[发明专利]一种基于多智能体强化学习的无人机集群高效通信方法

说明书

本发明公开一种基于多智能体强化学习的无人机集群高效通信方法，构建无人机飞行环境模拟器；随机选取一架无人机作为队长并标记；每架无人机获取并维护本机的局部观测值，将自身观测值进行编码并发送给队长；队长根据每架无人机的自身观测值，分别对全局观测值进行attention注意力机制处理，根据信息的重要程度来决定信息的权重，继而将计算好的观测值发送给每个队友，作为队友的全局观测值；训练阶段以全局观测值作为训练数据，直到策略网络收敛；执行阶段以分布式的方式进行；对队长的存活给一个额外的奖励。本发明可以在通信开销较小的条件下解决无人机集群集中式信息交互的问题，给予无人机自主决策权。

技术领域

本发明涉及一种基于多智能体强化学习算法的无人机集群学习方法和无人机集群信息交互方法，属于无人机集群通信协作技术领域。

背景技术

随着科技的迅猛发展，无人机越来越小型化、智能化，因此被广泛应用于战场侦查、联合攻击、应急救援等行动。无人机集群较单架无人机具有明显的规模优势、协同优势等，有效地解决了单架无人机在效率、续航方面的局限性。目前大部分无人机集群的解决方案都是依赖于深度强化学习。深度强化学习是机器学习的一个分支，是一种通过与环境进行交互试错学习的学习范式。强化学习具有很强的鲁棒性，其核心是与环境交互进行迭代学习，他的两大基本特征是：与环境不断交互进行试错探索、在与环境交互后得到延迟回报。强化学习的目的是在迭代过程中获取新的知识，以此改进状态-动作函数来适应环境。

无人机集群无论是协同训练还是共同部署，各无人机之间的通信方案都是无人机集群解决方案的重要组成部分。现有的无人机集群信息交互的控制策略中，一般有集中式控制、分布式控制和分散式控制三种方式，各种方式各有优缺点。其中集中式控制效果最好，但是需要进行大量的信息交互，计算量大，通信效率低，并且无人机集群在该方法下往往缺乏灵活性和自治性。

为了提升无人机集群间的通信效率，学界提出了诸多方法，例如中心化训练去中心化执行的框架，但该方法忽略了物理层的安全性。中心化训练去中心化执行的框架包括Actor网络和Critic网络，对每个agent的强化学习都考虑其他agent的动作策略，进行集中式训练、分布式执行，在训练过程中，Critic网络可获得全局信息，执行过程中Actor的输入包含单个智能体的局部信息。将中心化训练去中心化执行的框架应用在无人机集群控制能避免无人机集群失去自治性，各无人机能根据自己传感器所获取的局部信息进行决策，实现一定的自治能力。然而在基于中心化训练去中心化执行的框架的无人机集群中，若每架无人机都要将自己的位置、速度、姿态和运动目标等信息和编队中所有无人机进行交互，这不仅浪费带宽，而且信息容易被敌人获取。

发明内容

发明目的：为了解决基于中心化训练去中心化执行的框架的无人机集群中采用集中式信息交互方式通信效率低、通信不安全的缺点，基于前述提到的多智能体强化学习算法在无人机集群中的背景，本发明提出一种基于多智能体深度强化学习框架的无人机集群高效通信方法。在集群中，采取“队长-队友”模式，为队长设计特定的奖励机制，保证队长存活时间最长，随后对无人机集群进行编号并选取一名队长，每架无人机通过自身传感器获取并维护本机的局部观测值。为降低信息维度，每架无人机对本机观测值进行embedding编码，队长收集队友的本机观测值并维护成全局观测值；为减少搜索空间，提高全局观测值信息间的紧密性，队长根据每架无人机的自身观测值对全局观测值进行注意力机制处理，将计算好的观测值发送给每个队友，作为队友的全局观测值。本发明方案将通信次数由N(N-1)降低为2(N-1)(N为无人机架数)，大大减少通信链路和通信量，从而可以较好的解决通信效率和安全的问题。