[发明专利]一种基于多智能体强化学习的无人机网络协同快跳频方法

说明书

本发明公开了一种基于多智能体强化学习的无人机网络协同快跳频方法，具体为：输入无人机网络环境，每对无人机初始化自身Q表以及最优先验动作分布估计、互信息惩罚项系数和动作状态对出现次数；在当前时隙中，每对无人机根据上一时隙生成的动作选择传输信道，传输完成后得到环境反馈的奖励；每对无人机观测环境的当前状态，再与其它无人机对交互当前状态下各个动作的Q值得到全局Q值，根据互信息正则化soft Q‑learning算法中的行为策略生成动作；每对无人机更新自身Q表以及各个参量；当达到训练回合的最大步数时，重新输入无人机网络环境开始下一回合。本发明实现了所有无人机对的总吞吐量性能的提升，为无人机网络提供了通信保障。

技术领域

本发明属于无线移动网络中的通信技术领域，具体涉及一种基于多智能体强化学习的无人机网络协同快跳频方法。

背景技术

面对人们日益增加的通信需求，由于地面通信基础设施在部署成本和灵活性等方面都存在一定的局限性，因此无人机通信网络逐渐受到大家的关注(Zeng Y,Wu Q,ZhangR.Accessing from the sky:A tutorial on UAV communications for 5G and beyond[J].Proceedings of the IEEE,2019,107(12):2327-2375.)。无人机因具有体积小、部署成本低以及高敏捷性和可控性等特点，故可以用于处理紧急搜索与救援任务、充当移动中继以及天气监测和交通监控(Gupta L,Jain R,Vaszkun G.Survey of important issuesin UAV communication networks[J].IEEE Communications SurveysTutorials,2015,18(2):1123-1152.)。

特别地，当无人机对之间直接通信时，所建立的短程视距通信链路可以有效减少信号传输衰落。然而，与地面设备对设备通信一样，无人机对无人机通信也面临着干扰机恶意干扰攻击的威胁。并且由于频谱资源紧缺，用户间的同频道干扰也存在于无人机通信网络中，因此亟需有效的动态资源分配方案以提供通信保障(Xu Y,Ren G,Chen J,et al.Aone-leader multi-follower Bayesian-Stackelberg game for anti-jammingtransmission in UAV communication networks[J].IEEE Access,2018,6:21697-21709.)。