[发明专利]一种面向窄带物联网的无人机基站增强网络优化方法

权利要求书

1.一种面向窄带物联网的无人机基站增强网络优化方法，其特征在于，包括以下步骤：

(1)通过负载基站的半径对无人机基站的高度进行优化，并将无人机部署在基站正上方，给出无人机当前的实时位置坐标作为无人机的当前状态s_t；

(2)根据无人机的状态s_t，通过当前值神经网络得到无人机不同飞行方式下的不同飞行方案，从而仿真环境遵从ε-greedy策略在这些飞行方案中选择一个飞行方案a_t；

(3)根据无人机的状态s_t以及仿真环境所选的飞行方案a_t，仿真环境给出飞行方案a_t下的奖励r_t以及无人机采取飞行方案a_t后到达的新状态s_t+1；

(4)根据深度强化学习的深度Q学习网络，基于经验回放和固定目标Q值两个策略来训练神经网络，更新网络参数，更新ε-greedy策略下的Q值；

步骤(1)所述无人机基站的高度优化可通过以下公式：

其中，h是无人机的最佳高度，R是基站覆盖小区的半径，c是光速，PL_max是可支持的最大路径损耗，f为载波频率；令即可计算出无人机基站的最佳高度；

所述步骤(4)包括以下步骤：

(41)将步骤(1)得到的无人机状态s_t，步骤(2)得到的无人机飞行方案a_t以及步骤(3)得到的奖励r_t和下一个状态s_t+1构成一个数据组(s_t,a_t,r_t,s_t+1)存入记忆库中，在数据组的数量达到记忆库的容量后，每产生一个新的数据组，将最早产生的数据组删除；

(42)在记忆库中数据达到其容量后，随机选择一定批量的数据组用来训练神经网络，每次训练计算实际的Q值：

同时计算每次训练的误差函数：L(θ)＝(y_i-Q(s_i,a_i；θ))²；而后损失函数使用梯度下降反向传播来更新网络参数θ，其中，表示L(θ)对θ的偏导数，α表示学习速率；

(43)设置一个固定的步数C，当前值神经网络Q(s,a；θ)每隔C步将网络参数传递给目标值神经网络即θ^-＝θ；

(44)神经网络参数θ发生变化，重复操作(41)(42)，直到误差函数收敛，即当前值神经网络Q(s,a；θ)的预测Q值接近于实际的Q值。

2.根据权利要求1所述的一种面向窄带物联网的无人机基站增强网络优化方法，其特征在于，步骤(2)所述的不同飞行方式包括无人机向上、向下、向左、向右、向前、向后六种飞行方式。

3.根据权利要求1所述的一种面向窄带物联网的无人机基站增强网络优化方法，其特征在于，步骤(2)所述的仿真环境遵从的ε-greedy策略为：

其中，表示当前值神经网络估计Q值最大的飞行方案，a_random表示在所有可能的飞行方案中随机选择一种飞行方案。