[发明专利]移动边缘网络中基于强化学习的AR任务卸载和资源分配方法

说明书

本发明公开了一种移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，包括以下步骤：建立AR应用模型和设定优化目标；设定强化学习网络框架和马尔科夫决策过程的状态、动作和奖励；产生数据并存储到经验回访池中，直到达到一定的数量后开始训练；训练Critic和Actor网络直到网络收敛；网络训练好之后，只需要将状态值输入到Actor网络中就可以得到资源分配和任务卸载方案。本发明为了更加合理地利用资源，将AR应用分割成子任务并考虑了子任务之间的依赖关系，在资源受限和保证时延要求的条件下，可以智能高效的减少每一个用户终端的能量消耗。

【技术领域】

本发明属于无线通信技术领域，涉及一种移动边缘网络中基于强化学习的AR任务卸载和资源分配方法。

【背景技术】

随着第五代通信技术的快速发展，大量的新型视频应用不断涌现，如增强现实和虚拟现实等。这些新型视频应用以其强大的浸入式感官体验获得了广大消费者的青睐，但是这类应用具有低时延和大计算量需求，对目前的通信系统造成了巨大的挑战。在中心云系统中，大计算量的任务被卸载到远端中心云进行处理，这种方法会造成回程网络负载过大，任务时延较高的问题。移动边缘计算(MEC)作为5G的主要技术之一，为解决这些问题提供了很好的思路。

MEC被部署在靠近用户的核心网边缘，这样就可以将大计算量的任务卸载到MEC服务器执行，减少了卸载到中心云所产生的较大传输时延，提高用户体验。但是针对具体的视频应用，还有许多挑战需要被克服。例如：在网络状态波动和资源有限的情况下，如何合理的分配资源和卸载任务是提高用户体验的一个关键因素。因此，在移动边缘网络中针对AR应用的任务卸载和资源分配方法的研究对提高用户体验质量起着决定性的作用。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，用于解决在网络状态波动和有限的资源情况下，合理的分配资源和卸载任务的技术问题。

为达到上述目的，本发明采用以下技术方案予以实现：

移动边缘网络中基于强化学习的AR任务卸载和资源分配方法，包括以下步骤：

步骤1，将网络中每一个用户的AR任务分为五个子任务，建立五个子任务的有向无环图；所述有向无环图表示五个子任务的依赖关系；

步骤2，针对网络中的所有AR任务建立任务卸载和资源分配联合优化模型；

步骤3，将联合优化模型转化为马尔科夫决策过程，设定马尔科夫决策过程中初始的状态S、动作A和奖励R，通过MADDPG算法训练学习网络，训练目标为最小化每一个用户终端设备的能量消耗，训练结果为AR的任务卸载和资源分配方法；所述分配方法包括MEC服务器计算资源的分配、用户终端计算资源的分配，以及网络中上行和下行通信资源的分配。

本发明的进一步改进在于：

优选的，所述五个子任务为视频源、渲染器、追踪器、映射器和目标识别；所述视频源和渲染器的执行位置为用户终端。

优选的，所述有向无环图为：

其中，和分别表示中点v和边l的集合，和分别表示在MEC和在用户终端执行任务的点集合，和分别表示上行链路、下行链路和hold的边集合。

优选的，步骤2中，所述联合优化模型为：