[发明专利]一种基于Q学习算法的无人机基站部署及用户关联方法

权利要求书

1.一种基于Q学习算法的无人机基站部署及用户关联方法，其特征在于，该方法包括以下步骤：

S1：建模用户关联标识；

S2：建模用户及基站位置；

S3：建模用户移动模型；

S4：建模用户传输速率；

S5：建模系统回报函数；

S6：建模用户关联及传输速率限制条件；

S7：建模满足限制条件的系统长期回报函数优化问题；

S8：基于Q学习算法确定优化策略；

步骤S1中，建模用户关联标识，具体包括：令Q＝{UE₁，...，UE_m，...，UE_M}表示用户集合，其中UE_m表示第m个用户，1≤m≤M，M为用户数目；令Γ＝{BS₁，…，BS_n，…，BS_N}表示蜂窝基站集合，其中BS_n表示第n个蜂窝基站，1≤n≤N，N为蜂窝基站数目；令β_mn∈{0，1}表示用户关联蜂窝基站标识，β_mn＝1表示用户UE_m关联蜂窝基站BS_n进行数据传输，否则β_mn＝0；令表示用户关联无人机基站标识，表示用户UE_m关联无人机基站进行数据传输，否则

步骤S2中，建模用户及基站位置，具体包括：将系统空间进行三维离散化处理，令x_max、y_max、h_max分别为三维网格中行、列、高的最大点数，用户与蜂窝基站的高度均为0，故用二维网格点描述，令(x_m，y_m)表示用户UE_m的二维空间位置，0≤x_m≤x_max，0≤y_m≤y_max；令表示蜂窝基站BS_n的位置，建模无人机基站位置为(x^u，y^u，h^u)，0≤x^u≤x_max，0≤y^u≤y_max，h_min≤h^u≤h_max，h_min为无人机允许的最低高度；

步骤S3中，建模用户移动模型为随机移动模型，令v_m，t表示时隙t用户UE_m的移动速率，θ_m，t表示时隙t用户UE_m的移动方向，v_m与θ_m均为均匀分布随机变量，v_m取值范围为[0，v_max]，θ_m取值范围为[0，2π]；

步骤S4中，建模用户传输速率，具体包括：

1)建模时隙t用户UE_m与蜂窝基站BS_n之间链路的传输速率为R_m，n，t＝B log₂(1+SINR_m，n，t)，其中B为蜂窝基站BS_n分配给用户UE_m的信道带宽，SINR_m，n，t表示t时刻用户UE_m与蜂窝基站BS_n之间链路的信干噪比，定义为其中P_m表示用户UE_m的发送功率，σ²表示噪声功率，h_m，n，t表示时隙t用户UE_m与基站BS_n之间的信道增益，定义为h_m，n，t＝c(d_m，n，t)^-2，c为常数，I_m，n，t表示基站间的同频干扰，建模为

2)建模时隙t用户UE_m与无人机基站之间的传输速率为其中表示t时刻用户UE_m与无人机基站之间链路的信干噪比，表示t时刻用户UE_m与无人机基站之间的信道增益，定义为c为常数，为无人机基站处的干扰，建模为

步骤S5中，建模系统回报函数，具体包括：建模t时刻系统回报函数为t时刻用户总传输速率R_t，即建模系统长期的平均回报函数

步骤S6中，建模用户关联及传输速率限制条件，具体包括：用户关联标识需满足用户传输速率限制条件为其中为满足用户UE_m需求的门限值，R_m，t建模为

步骤S7中，建模满足限制条件的系统长期回报函数优化问题，具体包括：在满足用户关联标识及传输速率限制条件下，以系统长期平均回报函数R最大化为目标，确定无人机基站的最优位置及用户关联策略，即

步骤S8中，确定优化策略，具体包括：基于Q学习算法求解满足限制条件的系统长期平均回报函数最大化问题，建模系统动态变化为马尔可夫决策过程模型；定义状态空间S＝{(x_m，t，y_m，t，0)}为时隙t各用户的位置，定义动作空间为A＝{(z₁，z₂，…，z_M)，(x^u，y^u，h^u)}，其中，若β_mn＝1，z_m＝n；若z_m＝N+1，1≤m≤M；定义Q函数为Q(s_t，a_t)＝α[R_t+1+γmax Q(s_t+1，a)-Q(s_t，a_t)]，其中s_t为t时刻系统状态，a_t为t时刻采取的动作，a为系统采取的动作，α∈(0，1)为学习速率，γ∈(0，1)为折扣因子，各时刻对Q函数迭代更新，确定对应长期平均回报函数优化的无人机基站部署及用户关联策略，即