[发明专利]一种无人机协助的多节点任务卸载调度的方法

权利要求书

1.一种无人机协助的多节点任务卸载调度的方法，其特征在于,该方法的实现过程如下：

步骤一、无人机沿巡回路径飞行，必要时下降高度近距离协助收集地面多个用户节点的数据并在边缘服务器进行任务卸载，对此应用场景构建了马尔可夫模型；

步骤二、初始化强化学习方法的Q表，Q表的行属性为马尔可夫模型里的状态，列属性为马尔可夫模型里的动作；每一个状态动作对应Q表上的一个状态动作值，其大小为该状态动作对应的累积奖励期望；Q表里的初始值为标准归一化后的随机数，这些随机数均接近于0；

步骤三、将应用场景里的限制条件设立成强化学习的小目标，把策略调度后获得的任务剩余价值尽可能大作为大目标，大目标必须在小目标之后实现；为强化学习的小目标设置了探索性小奖励，其作用是让智能体不受大目标的奖励影响，正常完成小目标；

步骤四、设置预奖励，预奖励是无人机向用户节点提供服务时，可以预先获得的一份奖励，主要是用来减少奖励稀疏带来的强化学习训练效率低的问题；

步骤五、强化学习方法一个训练周期开始时，智能体会从马尔可夫模型上的初始状态出发，根据改进的ε-greedy策略为智能体选择当前状态的下一步动作；

步骤六、智能体做出动作选择后会抵达下一个环境状态，环境状态会根据当前特征给予对应的奖励；

步骤七、在任务卸载调度算法的训练过程中，智能体会对状态转移中的单元奖励和累积奖励比较敏感；

步骤八、算法最大训练周期到达时停止训练，输出训练收敛的最大累积奖励，并根据Q表的值，从开始状态出发使用贪婪策略来获取一个从开始状态到结束状态的动作序列，即为多节点任务卸载调度的动作策略。

2.根据权利要求1所述的一种无人机协助的多节点任务卸载调度的方法，其特征在于步骤一构建的马尔可夫模型中，状态用S＝{loc,remtime,attri,flag}表示，其中loc表示无人机当前在巡回路径上的位置；remtime表示无人机提供服务的剩余时间；attri代表当前访问到的节点属性；flag是用户节点服务标记向量，用来标记巡回路径上的多个用户节点是否被卸载处理过；马尔可夫模型中，动作空间则为巡回路径上的多个节点的位置。

3.根据权利要求1或2所述的一种无人机协助的多节点任务卸载调度的方法，其特征在于步骤三中为了让智能体在与环境交互中获得的累积奖励满足大目标的要求，使用一个存储区间来记忆小目标完成路径上从环境中获得的真实奖励，当小目标完成时，智能体会一次性获得存储区间中累积的真实奖励；需要注意的是，当小目标未完成时，智能体获得的探索性小奖励，远小于完成小目标后实现大目标过程中获得的真实奖励。

4.根据权利要求3所述的一种无人机协助的多节点任务卸载调度的方法，其特征在于智能体在训练的过程中遇到用户节点时，会有两种奖励，分为实际环境交互奖励和预奖励；实际环境奖励只有无人机为服务器提供卸载服务时才能够获得一定量的标量奖励，而为用户节点提供任务收集服务获得的奖励为0。

5.根据权利要求4所述的一种无人机协助的多节点任务卸载调度的方法，其特征在于预奖励的大小设定为该任务卸载到服务器后应该获得的奖励的一小部分；所有未被卸载到服务器的任务获得的预奖励均会在结束状态赋予一个同等大小的惩罚奖励；

所述的预奖励设置如下：

其中SF为缩小因子，为无人机第t次从第n个用户节点收集到的总任务数；σⁿ表示价值衰减因子；valueⁿ表示第n个节点任务的初始价值；Total表示总时长。

6.根据权利要求1或5所述的一种无人机协助的多节点任务卸载调度的方法，其特征在于其中改进后的ε-greedy策略中的ε的大小是与训练周期相关的负指数函数；ε-greedy策略在训练初期，智能体会更倾向与非经验的搜索，而到了训练周期结束时，智能体会更倾向于训练结果的收敛；改进的ε-greedy策略通过负指数函数将迭代周期数映射到ε上，公式表示如下所示：

ε＝e^-β*episode；

其中β参数用来控制ε的增长速度，为保证随着迭代周期越来越靠近最大训练周期数算法能够收敛，β满足如下公式：