[发明专利]多无人机3D悬停位置联合优化方法、装置和无人机基站

权利要求书

1.多无人机3D悬停位置联合优化方法，其特征在于，包括如下步骤：

获取无人机所处的异构网络的状态信息；

将所述状态信息输入预先构建的深度强化学习网络，通过当前策略决策下一时刻的悬停位置，并从环境中获得无人机在当前时刻的所述悬停位置的回报函数值；

基于异策略深度确定梯度策略算法，求取更新的梯度，多个所述无人机同步更新策略参数；

根据所述梯度，迭代执行从获取所述状态信息到同步更新多个所述无人机的策略参数的步骤，使目标策略函数逐渐收敛，直至得到最优策略。

2.根据权利要求1所述的多无人机3D悬停位置联合优化方法，其特征在于，所述基于异策略深度确定梯度策略算法，求取更新梯度，多个所述无人机同步更新策略参数，包括：

利用异策略深度确定梯度策略算法，计算所述目标策略函数更新的梯度；

基于预先建立的多无人机共享一服务器的分布式平行学习框架，多个所述无人机将计算得到的所述梯度上传至同一服务器；

根据所述服务器进行全局参数更新后反馈的策略参数，多个所述无人机进行同步更新。

3.根据权利要求1所述的多无人机3D悬停位置联合优化方法，其特征在于：

所述获取无人机所处的异构网络的状态信息，包括获取如下状态信息：每个无人机与地面基站的欧氏距离、每个地面基站的通信负载、地面基站的平均负载和每个无人机拥有的边缘用户的比例；

和/或，所述从环境中获得无人机在当前时刻的所述悬停位置的回报函数值，包括对吞吐量回报和能量回报进行求和，得到回报函数值：

r_t^m＝r_t^m,throughput+α·r_t^m,power；

其中，r_t^m,throughput表示t时刻的吞吐量回报；r_t^m,power表示t时刻的能量回报，等同于传输信息需要的发射功率；α是平衡吞吐量最大和能量损耗最小的参数；表示t时刻的通信终端u连接地面基站所需要的物理资源块；表示t时刻的通信终端u连接无人机所需要的物理资源块，U_m'表示选择连接无人机基站的地面通信终端集合。

4.根据权利要求2所述的多无人机3D悬停位置联合优化方法，其特征在于：

在获取无人机所处的异构网络的状态信息，之前还包括步骤：将强化学习网络和深度神经网络相结合，预先构建深度强化学习网络；所述深度强化学习网络包括评价网络和行动网络；

所述利用异策略深度确定梯度策略算法，计算所述目标策略函数更新的梯度包括步骤：所述评价网络通过所述目标策略函数拟合出状态-行动值函数，并向所述行动网络提供所述状态-行动值函数的更新梯度；所述行动网络，根据所述评价网络提供的更新梯度，对所述目标策略函数进行梯度更新，得到当前待执行的目标策略。