[发明专利]基于多目标深度强化学习的无人机边缘计算卸载方法

说明书

本发明涉及一种基于多目标深度强化学习的无人机边缘计算卸载方法，包括以下步骤：构建无人机‑移动边缘计算系统，采用深度强化学习的方法对无人机‑移动边缘计算系统的最小化时延和能耗的任务卸载模型进行求解，初始化用户偏好空间；对深度强化学习中的Q网络和目标Q网络进行初始化；偏好经验池更新；选择当前状态下的动作，并执行动作得到向量值奖励和下一个状态；经验存储操作；经验样本训练：输出卸载决策。本发明将UAV‑MEC系统的COP建模为一个多目标马尔可夫决策过程，并采用多目标深度强化学习方法进行求解，得到满足用户需求的最优解，提高了求解效率和灵活性，可广泛用于对无人机边缘计算环境进行计算卸载。

技术领域

本发明属于无人机技术领域，涉及无人机边缘计算，尤其是一种基于多目标深度强化学习的无人机边缘计算卸载方法。

背景技术

近年来，随着5G技术和物联网技术的发展，基于终端设备(Terminal Unit，TU)的计算密集型应用越来越多。但是，TU计算资源和电池容量有限，无法处理大量的计算密集型应用，而云端服务器距离TU较远，由其处理任务会造成较大的时延。多址边缘计算(multi-access edge computing，MEC)被认为是缓解TU计算资源不足并减小任务处理时延的一个有效途径。MEC服务器具有充足的计算资源，可以在距离TU更近的边缘处理计算密集型应用，从而减小TU的计算压力。用户可以选择将应用卸载到MEC服务器执行或本地TU执行，此类问题被称为计算卸载问题(Computation Offloading Problem，COP)。在本地执行虽会减少应用的时延，但是会导致较高的能耗，而卸载到MEC执行时虽会减小TU能耗却会增加应用时延，因此解决MEC中的COP受到了广泛的关注。此外，由于在复杂的环境下，如山区、战场和受灾区等，MEC基站无法对此类区域进行信号覆盖。

因此，具有高机动性的无人机(Unmanned Aerial Vehicle，UAV)辅助多址边缘计算系统(UAV-Assisted Multi-Access Edge Computing，UAV-MEC)被应用于此类问题。其中UAV搭载的边缘服务器可以扩大其通信覆盖范围，减小地域环境的约束，从而提高部署效率和用户服务质量。UAV-MEC具有灵活性高、覆盖范围广、响应更加迅速、成本低等优点。

针对UAV-MEC中计算卸载的研究，目前的方法主要包括基于传统的优化方法和基于机器学习的方法。传统的优化方法中主要利用凸优化、启发式算法和博弈论等方法来解决UAV-MEC的COP，上述方法在静态环境下可以取得较好的结果，但在动态环境下，特别是UAV快速移动时，算法需要重新开始执行，这会导致计算资源的浪费和较高的时延，因此，传统的优化方法难以满足用户的需求。

基于机器学习的方法可以在UAV-MEC环境中动态地调整卸载策略以适应环境的快速变化。由于深度强化学习可以实时与环境进行交互，因此，目前基于机器学习的计算卸载大多采用深度强化学习(Deep Reinforcement Learning，DRL)方法。但是，现有的DRLs方法在解决多目标问题时，大都采用将多目标加权转换为单个目标以获得线性标量奖励的方式来进行处理。由于在不同的时间，用户对于不同目标具有不同的偏好，很难确定合适的权重，因此这些方法的效果很难满足用户需求。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于多目标深度强化学习的无人机边缘计算卸载方法，解决现有UAV-MEC中计算卸载方法忽略用户对于不同目标的偏好变化问题，有效提高无人机边缘计算卸载性能。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于多目标深度强化学习的无人机边缘计算卸载方法，包括以下步骤：