[发明专利]一种无人机协助的多节点任务卸载调度的方法

说明书

本发明公开了一种无人机协助的多节点任务卸载调度方法。本发明基于传统的无模型基于值函数更新的强化学习方法，针对无人机协助边缘计算场景下协助调度问题作了优化，在此基础上创新的提出了小学习目标、预奖励和大奖励敏感等方法。最终在无人机用户节点对时延敏感等的约束下，实现了无人机在有限的服务时间内通过策略选择飞行路径获取利益最大化的问题。本发明的方法不需要过多的先验知识，不需要深入了解每个用户节点的深入信息，符合隐私保护的需求，并且本发明在类似的应用场景有着较好的复用性，发明的实践价值较强。

技术领域：

本发明属于边缘计算领域，具体涉及一种无人机协助巡回路径内多节点任务卸载调度的强化学习方法。

背景技术：

在一些不方便直接部署服务器并提供服务的边缘计算场景中，无人机因其灵活性和便捷性可以扮演重要的协调角色。由此，无人机辅助的移动边缘计算任务卸载调度应用应运而生。如何在无人机有限的服务时间内通过选择飞行路径及卸载策略从而获取最大利益成为了新的挑战。其中，用户节点之间的差异性问题和隐私保护问题都是目前难以解决的重难点。目前已有的解决方法包括动态规划方法、凸优化方法、李雅普诺夫稳定性方法、蚁群算法、粒子群算法等。这些方法在某一些特定的场景可能有不错的表现，但算法设计的复杂度问题、可扩展性以及数据隐私保护问题上仍然有较大的改善空间。

随着AI的发展，各种强化学习算法被证实在解决序决策问题上有着显著的优势，非常适合处理边缘计算场景中的复杂搜索空间的策略选择问题，且本身只需要较少的先验知识就可以给问题带来较优解，同时也符合隐私保护的要求。强化习大致分为两类：基于模型的强化学习和无模型的强化学习。由于数据安全越来越受到重视，想要获得多用户节点详细数据的相关先验知识是困难的，因此无模型的强化学习是更适合解决边缘计算下的任务卸载调度问题。基于模型的强化学习也可以细分为两大类，一种是策略优化方法，其不需要保持一个价值函数模型，而是直接搜索最优策略，往往采用一个参数化策略，通过更新这个参数来最大化期望回报。另一种则是基于值函数更新的强化学习方法，一般指的是Q-Learning算法，Q即为与当前状态和动作选择相关的一张历史经验记忆表，可以表示某一时刻的状态下采取动作能够获得收益的累积期望，Q-Learning算法通过构建出一个代表算法的智能体，将其置身于需要解决问题的马尔可夫模型中，通过搜索策略来选择是通过查询累积的学习经验来做出新的动作选择还是随机选择一个动作。智能体会记录下每次的学习成果，通过更新学习经验来影响下一次的选择，随着训练次数的增加，智能体通过学习经验做出的动作选择将越来越准确，直到近似于解决问题的最优解。由于策略优化方法在状态搜索空间过大、参数过多时计算量会很大，实现起来也会更复杂，因此本方法提出了基于值函数更新的一种无人机协助多节点任务卸载调度的强化学习方法。

发明内容：

本发明的目的是解决无人机在边缘计算场景中有限的服务时间和用户先验知识情况下的利益最大化问题。

所述边缘计算场景主要包括一个巡回路径、若干用户和边缘服务器，其中的用户节点有着不同的任务到达流，未被无人机收集的任务均会被滞留在用户节点本地，且用户任务对时延敏感，任务价值会随着时间衰减。为了让所有节点均能获得地面服务器的服务，在实现利益最大化的目标时要求所有参与卸载调度服务的用户节点至少有一次被无人机提供卸载服务的经历。为此本发明提出了一种无人机协助多节点任务卸载调度的强化学习方法，该方法只需要很少的先验知识和仅仅靠一些飞行过程中与环境的简单交互来获得学习经验，就可以得到最大化利益目标的策略卸载调度路径的近优解。

为了达到上述目的，本发明所采用的技术方案是：一种无人机协助多节点任务卸载调度的强化学习方法，其特征在于包含以下步骤：