[发明专利]移动边缘网络中基于强化学习的AR任务卸载和资源分配方法

权利要求书

1.移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，包括以下步骤：

步骤1，将网络中每一个用户的AR任务分为五个子任务，建立五个子任务的有向无环图；所述有向无环图表示五个子任务的依赖关系；

步骤2，针对网络中的所有AR任务建立任务卸载和资源分配联合优化模型；

步骤2中，所述联合优化模型为：

其中，：和分别表示分配给用户u第l个子任务的上行和下行传输资源；和表示基站分配给用户u的上行和下行传输资源；表示MEC服务器分配给用户u第l个子任务的计算资源；表示本地用户终端分配给用户u第l个子任务的计算资源；g_u表示有向图中完成一个AR任务的一条路径，和分别表示用于u执行AR一个任务的总时延和总能耗；F^MEC表示MEC服务器的总计算资源；表示本地用户终端的总计算资源；

步骤3，将联合优化模型转化为马尔科夫决策过程，设定马尔科夫决策过程中初始的状态S、动作A和奖励R，通过MADDPG算法训练学习网络，训练目标为最小化每一个用户终端设备的能量消耗，训练结果为AR的任务卸载和资源分配方法；所述分配方法包括MEC服务器计算资源的分配、用户终端计算资源的分配，以及网络中上行和下行通信资源的分配；

步骤3中，学习网络框架中的经验回访池中的数据达到目标数量，开始训练网络；所述经验回访池中放置有episode的状态S；将旧的状态S输入至Actor网络中输出动作A，产生新的网络参数状态S′和奖励R；

步骤3中，训练网络过程中，每次从经验回放池中抽取一个min-batch的数据(S^j,A^j,S′^j,R^j)，Critic网络采用如下公式更新网络参数：

Actor网络采用如下公式更新网络参数：

其中，表示Critic网络的目标值，μ和Q分别表示Actor和Critic网络的目标网络，μ′和Q′分别表示Actor和Critic网络的目标网络，θ_u表示Actor估计网络的参数，表示A^j里面的元素，表示R^j里面的元素，X表示min-batch的大小，γ表示马尔科夫决策过程的折扣因子。

2.根据权利要求1所述的移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，所述五个子任务为视频源、渲染器、追踪器、映射器和目标识别；所述视频源和渲染器的执行位置为用户终端。

3.根据权利要求1所述的移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，所述有向无环图为：

其中，和分别表示中点v和边l的集合，和分别表示在MEC和在用户终端执行任务的点集合，和分别表示上行链路、下行链路和hold的边集合。

4.根据权利要求1所述的移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，步骤3中，所述状态S包括当前所有用户采集的视频帧大小、MEC计算资源大小，当前时刻网络的上下行传输资源，初始计算资源和通信资源的分配方案；

动作A为对初始资源分配方案的改变量；

奖励R包括任务完成奖励、体验质量奖励和能量消耗奖励。

5.根据权利要求4所述的移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，所述任务完成奖励为：

其中，ε()表示阶跃函数，s_u,q表示状态S的第q维数据，χ₁,χ₂,χ₃,χ₄,χ₅,χ₆,χ₇,b₁,b₂和b₃为常数。

6.根据权利要求4所述的移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，所述体验质量奖励为：

7.根据权利要求4所述的移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，其特征在于，所述能量消耗奖励为：