[发明专利]基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法

说明书

本发明提出了基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法，方法包括：设置网络中CF‑MEC环境参数，确定用户设备UE与AP之间的数量关系；计算密集型任务的生成，使整个网络的时延t_all最小化；定义动作、状态和奖励，训练深度Q网络，并保存网络模型；本发明的方法运行在和所有AP都相连的CPU上；并且在无小区大规模多天线架构中，每个AP都会将关于某个特定接收信号的局部软判决传输至CPU进行最终的综合判决，因此在CPU处可以获得全部的上行信号，同时在CPU处运行的本方法能够获得所有的卸载任务信息，并为它们一一选择合适的服务器来最优化整个网络所经历的卸载时延。

技术领域

本发明属于网络时延最小化领域，具体地，涉及基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法。

背景技术

无小区大规模多天线架构指的是这样一种架构：整个覆盖区域內的若干用户全部使用相同带宽且同时被区域內分散在各处的接入点(Access Point,AP)服务。而这些接入点之间通过前传回路和一个CPU相连。通过给每个AP配备一个计算能力稍强的服务器，每个用户都能够将计算密集型任务卸载到接入网一侧，从而减少传统云计算的传输时延并且增强了用户设备的计算能力和续航能力。这就是无小区大规模多天线架构下的移动边缘计算。

计算卸载指的是用户将计算密集型任务传输给一个指定的服务器进行计算并返回结果的过程。在移动边缘计算中，计算卸载方法始终都是重点关注对象。在CF-MEC场景中也不例外。现有文献在这一场景中，提及了一种被称为最小负载计算模型(Minimum LoadComputation Model)的分布式计算卸载方法。该方法出于网络可扩展性的考虑假设用户仅由一个以用户自身为原点，半径为一个固定值的圆內的AP所服务。用户产生的计算密集型任务也仅能卸载到由这个圆所圈定的AP所配备的服务器中。而负载指的是每个服务器维护的计算队列的长度。因此，在最小负载计算模型中，用户的卸载策略就是将任务卸载到这些限定AP对应的服务器中计算队列长度最短的一个服务器中。

但这种方法的问题在于用户设备的计算任务只能卸载到特定范围内的服务器中。在这个特定圆形区域之外的服务器没有得到利用。如果用户设备的卸载任务请求过于频繁的话，就会导致圆形区域內的服务器计算队列过长，而圆形区域外的服务器的计算队列长度却可能很短的情况。在这种情况下，如果能将计算任务转移到圆形区域外的闲置服务器中计算就能显著提高空闲资源的利用率，同时降低了计算任务不必要的等待时延，进而降低了用户进行计算卸载总共需要忍受的时延。而低时延一直都是计算卸载追求的目标之一，因此需要一种方法能够利用那些圆形区域外的等待时延更小的服务器。

发明内容

本发明在基于强化学习的计算卸载方法的基础上，利用最优序列决策的方式为网络中的每一个计算任务选择从全局的角度选择一个合适的AP服务器进行计算，进而提出了基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法。

本发明是通过以下方案实现的：

基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法:

所述方法具体包括以下步骤：

步骤一：设置网络中CF-MEC环境参数，确定用户设备UE与AP之间的数量关系；

步骤二：通过用户设备UE与AP之间的数量关系，计算密集型任务的生成，使整个网络的时延t_all最小化；

步骤三：定义动作、状态和奖励，训练深度Q网络，并保存得到网络模型。

进一步地，在步骤一中：

所述CF-MEC环境参数包括：