[发明专利]一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法

权利要求书

1.一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法，其特征在于：包括下列步骤：

S1、将地面服务区域建模为网格，设置状态空间，由无人机对自身位置、节点位置及每个节点服务优先级创建，并将无人机视为Q-Learning模型；

S2、无人机在飞行过程不断与节点设备进行数据交互并根据交互回报更新算法函数；

S3、使用Epsilon-Greedy算法与Double Q-Learning算法进行效果对比，实现轨迹优化。

2.根据权利要求1所述的一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法，其特征在于：所述S1中Q-Learning模型包括Agent模块、Action模块、State模块、Revenue模块，所述Agent模块为飞行基站，根据节点的位置和服务优先级逐个为节点提供服务；所述Action模块为无人机的下一个飞行目的地，由下一个要服务的节点的位置决定；所述State模块为根据观察到的无人机当前位置信息和节点信息定义的，系统状态被定义为S＝{L_uav,L_nd,Ω_nd},L_uav是无人机的位置，是一个向量，表示节点的位置1到n和是一个向量，表示节点的服务优先级sp和状态；所述Revenue模块为一个函数，所述Revenue模块为Q-Learning模型之后的每个状态动作对返回一个实数。

3.根据权利要求1所述的一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法，其特征在于：所述S2中数据交互过程中，根据Q-Learning模型，每个状态行为的奖励被保存在q-Table中，并更新为Double Q-Learning算法，所述Double Q-Learning算法使用两个q-Table来避免可能的局部最优，从而达到全局最优，两个q-Table分别表示为QA-Table和QB-Table，为每个节点服务后，用于为节点服务的q-Table中的q-values，使用相关的双Q-Learning方程更新，公式如下：

所述α为学习率，所述γ为折现系数，所述R是收益函数，所述s'是在状态s上执行动作a后的下一个状态，所述a*和b*是状态s'上所有状态动作对的Q-value最大值，

对于Q-Learning模型的收益函数R(s,a)，当无人机提供高优先级服务时，将考虑给予奖励，对于服务交付延迟和飞行能耗，将采用不同的惩罚措施，用于Q-Learning模型并找到最佳轨迹，将总能耗降至最低，首先服务于延迟最小的节点，并提高整体体验质量，收益函数R计算为：

所述w₁,w₂,w₃是调优参数，所述nd_a为服务的节点，所述t_s为最后一个节点提供服务所花费的时间，所述P(V)为无人机以速度V飞行时的功耗，计算方法为：

其中P₀和P_i是定义的两个常数，分别表示叶片轮廓功率和悬停状态下的感应功率，U表示转子叶片的叶尖速度，v₀称为悬停时的平均转子感应速度，d₀和s分别为机身阻力比和旋翼强度，ρ和A分别代表空气密度和旋翼盘面积。

4.根据权利要求1所述的一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法，其特征在于：所述S3中效果对比，在算法中使用Epsilon-Greedy方案，该算法在学习过程的开始就随机采取行动，而Agent模块完全处于探索模式，通过减小ε值，增加了利用的机会，并且在每个步骤中采取具有最高Q-Values的动作，随着时间的推移，这已进行调整以逐渐依赖Double Q-Learning策略，以Greedy算法为基准，最近邻居中，无人机在每个步骤中选择要服务的最近节点，而Double Q-Learning试图在距离和节点优先级之间取得平衡。