[发明专利]一种基于强化学习的无人机网络发射功率分配方法及装置

说明书

本发明公开了一种基于强化学习的无人机网络发射功率分配方法及装置，所述方法包括：初始化无人机以及用户的状态，定义动作空间以及神经网络的参数；初始化价值函数和当前网络状态的Q值；与环境交互接收奖励反馈并计算采取当前动作的Q值；根据反馈得到的奖励的最大值选取最优动作；更新系统的下一状态并存储至经验池中；判断经验数量是否达到预期值，若达到则开始进行深度强化学习，若未达到则继续循环；根据贝尔曼方程得到即时奖励并采取DPPO算法进行深度学习，以长期奖励函数最大化为目标进行强化学习；判断长期奖励函数的值是否趋于收敛，当趋于收敛时终止学习，此时已完成无人机无线自组网的资源分配最优化。

技术领域

本发明涉及基于无人机的无线通信网络技术领域，特别涉及一种面向多无人机的无线自组网网络场景下的基于强化学习的无人机网络发射功率分配方法及装置。

背景技术

无人机(UAV)由于其灵活可控、高移动性以及良好的空对地视距链路等特征，而成为无线通信技术领域当中提供有效无线连接服务的重要合作伙伴，为当今社会构建应急、海量等通信场景提供了高效的解决方案。UAV可作为可移动的空中基站，为地面上的用户提供高质量通信，提高无线网络的容量。同传统的地面通信系统相比，灵活、时间成本低是UAV系统的优势所在。借助UAV，可以建立LOS通信链路，由于其高机动性，可以进行实时的动态调整来适应环境以为地面上的用户提供稳定高质量的通信服务。事实上，UAV无线通信为人们提供了一种具有成本和能源效益的解决方案，可用于没有任何基础通信设施的场景。然而，传统的技术存在项目资源分配机制浪费信道资源、分配效率低等弊端，这也是一直以来无线通信网络中所需攻破的难题，尤其是功率分配有着举足轻重的作用。

强化学习是一种解决动态决策问题时的可靠方式，近年来被广泛用于无线通信领域。基于强化学习(RL)的方法能够解决空中无线资源管理方面的问题，但是传统的RL算法在状态过多时收敛速度太慢，在此，我们引入深度学习，二者结合为DRL，以解决复杂的资源管理问题。之前很多RL算法依赖于手工选取的特征和线性函数逼近，但这些系统都依赖于特征的选取质量。如何在拓扑动态变化的无人机无线网络中进行合理、有效、绿色的无线资源分配是值得被关注的热点。

发明内容

本发明的目的在于提供一种基于强化学习的无人机网络发射功率分配方法及装置，解决当前无人机无线自组网中资源分配机制中浪费信道资源，功率分配效率低下等问题，构建基于人工智能的无人机无线网络资源分配方案。

为解决上述技术问题，本发明的实施例提供如下方案：

一方面，提供了一种基于强化学习的无人机网络发射功率分配方法，包括以下步骤：

S1、初始化无人机以及用户的状态，定义动作空间以及神经网络的参数；

S2、初始化价值函数和当前网络状态的Q值；

S3、与环境交互接收奖励反馈并计算采取当前动作的Q值；

S4、根据反馈得到的奖励的最大值选取最优动作；

S5、更新系统的下一状态并存储至经验池中；

S6、判断经验数量是否达到预期值，若达到则开始进行深度强化学习，若未达到则继续循环；

S7、根据贝尔曼方程得到即时奖励并采取DPPO算法进行深度学习，以长期奖励函数最大化为目标进行强化学习；

S8、判断长期奖励函数的值是否趋于收敛，当趋于收敛时终止学习，此时已完成无人机无线自组网的资源分配最优化。

优选地，所述步骤S1包括：

初始化无人机、用户以及神经网络的各项参数以及无人机的最大发射功率P_max，网络参数θ和θ′，智能体动作、状态、重放经验池

优选地，所述步骤S2包括：