[发明专利]基于无人机辅助节点的边缘网络计算资源动态优化方法

说明书

本发明请求保护一种基于无人机辅助节点的边缘网络计算资源动态优化方法，属于通信技术领域。针对边缘网络小区因局部用户业务量突发，导致服务器计算资源紧张，任务卸载质量恶化的问题，提出一种基于无人机辅助节点自适应巡航的计算资源动态优化方法。根据地面用户的位置分布和任务卸载需求，采用深度强化学习方法动态规划无人机巡航轨迹，通过任务卸载调度策略最大化巡航过程中无人机节点和基站节点的服务器资源利用率，从而有效减少局部用户的任务中断率，并降低平均任务卸载时延。

技术领域

本发明属于通信技术领域，具体涉及一种基于无人机辅助节点的边缘网络计算资源动态优化方法。

背景技术

随着移动网络的普及和发展，增强现实、虚拟现实和自动驾驶等新型应用不断涌现，极大的丰富了人们的日常生活。然而，这些应用通常对时延要求较高，也需要消耗大量的计算资源，移动终端对此类应用难以实现快速有效的处理。移动边缘计算通过将云端资源下沉到边缘网络，能够近距离地为用户提供任务卸载所需的计算资源，有效缩短用户与云服务器之间的传输时延。

然而，地面用户分布的快速变化和局部区域用户的随机性业务突发可能对边缘网络的固定服务器资源造成巨大的压力，导致计算资源利用率低下，用户服务体验恶化的情况。因此，利用低空无人机作为边缘计算网络的辅助节点，为地面节点提供灵活的资源补充，将成为未来网络建设与发展的一种重要模式。

本发明针对边缘网络小区因局部用户业务量突发，导致服务器计算资源紧张，任务卸载质量恶化的问题，提出一种基于无人机辅助节点自适应巡航的计算资源动态优化方法，有效减少局部用户的任务中断率，并降低平均任务卸载时延。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于无人机辅助节点的边缘网络计算资源动态优化方法。本发明的技术方案如下：

一种基于无人机辅助节点的边缘网络计算资源动态优化方法，其包括以下步骤：

101、根据马尔科夫决策过程构造离散时间-状态模型，包括将无人机巡航时间离散为时隙，设立时隙变量k、地空网络状态向量s_k、无人机三维动作向量a_k、无人机动作奖励函数r_k，其中，s_k，a_k，r_k随时隙数k的增加作相应的转移和变化，初始化时隙变量k＝0；

102、将无人机控制器作为智能体，基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，包括建立系统环境采集器、无人机动作策略网络π、无人机状态-动作值网络Q，任务调度策略发生器、无人机动作奖励发生器、经验样本存储区E,随机样本集Mini-Batch；

103、令k＝k+1，如果无人机在连续n个时隙内未发生三维坐标位置变化，跳转到步骤106，否则，根据无人机j的有效覆盖范围确定无人机j的用户对象集I_j，基站o的用户对象集I_o＝I-I_j，其中，I表示全体用户对象集，通过任务调度策略发生器，获得I_j与I_o的任务卸载决策变量集和跳转到步骤104；

104、根据和执行用户i的任务卸载请求，通过无人机动作奖励发生器获得相应的奖励值r_k，通过无人机动作策略网络π获得k时隙无人机三维动作向量a_k，由k时隙地空网络状态向量s_k与动作向量a_k计算获得s_k+1，将[s_k,a_k,r_k,s_k+1]存入经验样本存储区E；

105、从经验样本存储区E中随机抽样获得Mini-Batch样本集，并将Mini-Batch样本集分别导入动作策略网络π与状态-动作值网络Q进行训练，跳转到步骤103；

106、算法结束。