[发明专利]基于无人机辅助节点的边缘网络计算资源动态优化方法

权利要求书

1.一种基于无人机辅助节点的边缘网络计算资源动态优化方法，其特征在于，包括以下步骤：

101、根据马尔科夫决策过程构造离散时间-状态模型，包括将无人机巡航时间离散为时隙，设立时隙变量k、地空网络状态向量s_k、无人机三维动作向量a_k、无人机动作奖励函数r_k，其中，s_k，a_k，r_k随时隙数k的增加作相应的转移和变化，初始化时隙变量k＝0；

102、将无人机控制器作为智能体，基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，包括建立系统环境采集器、无人机动作策略网络π、无人机状态-动作值网络Q，任务调度策略发生器、无人机动作奖励发生器、经验样本存储区E,随机样本集Mini-Batch；

103、令k＝k+1，如果无人机在连续n个时隙内未发生三维坐标位置变化，跳转到步骤106，否则，根据无人机j的有效覆盖范围确定无人机j的用户对象集I_j，基站o的用户对象集I_o＝I-I_j，其中，I表示全体用户对象集，通过任务调度策略发生器，获得I_j与I_o的任务卸载决策变量集和跳转到步骤104；

104、根据和执行用户i的任务卸载请求，通过无人机动作奖励发生器获得相应的奖励值r_k，通过无人机动作策略网络π获得k时隙无人机三维动作向量a_k，由k时隙地空网络状态向量s_k与动作向量a_k计算获得s_k+1，将[s_k,a_k,r_k,s_k+1]存入经验样本存储区E；

105、从经验样本存储区E中随机抽样获得Mini-Batch样本集，并将Mini-Batch样本集分别导入动作策略网络π与状态-动作值网络Q进行训练，跳转到步骤103；

106、算法结束。

2.根据权利要求1所述的一种基于无人机辅助节点的边缘网络计算资源动态优化方法，其特征在于，所述步骤101中根据马尔科夫决策过程构造离散时间-状态模型，其中，k时隙的地空网络状态向量s_k、无人机三维动作向量a_k、无人机动作奖励函数r_k，分别如公式(1)、(2)、(3)所示：

公式(1)中，表示无人机j在k时隙的三维坐标位置，表示用户i在k时隙的二维坐标位置；公式(2)中，表示无人机j在k时隙的水平运动方向，表示无人机j在k时隙的垂直运动距离；公式(3)中，ω表示无人机动作奖励函数权重因子，ω∈(0,1)，Δt表示时隙大小，表示k时隙用户i的平均单位任务时延，如公式(4)所示，表示k时隙用户i的平均单位任务时延满足平均单位任务容忍时延τ_i，否则为如公式(5)所示：

公式(4)中，表示用户i与无人机j的连接状态，若用户i在k时隙将任务卸载到无人机j执行，则否则表示用户i与基站o的连接状态，若用户i在k时隙将任务卸载到基站o执行，则否则用户i在k时隙最多只能与一架无人机或基站相连接，即表示用户i在k时隙卸载到无人机j的任务量，表示用户i在k时隙卸载到基站o的任务量，τ_i表示用户i平均单位任务容忍时延。