[发明专利]基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法

权利要求书

1.基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法，其特征在于：

所述方法具体包括以下步骤：

步骤一：设置网络中CF-MEC环境参数，确定用户设备UE与AP之间的数量关系；

步骤二：通过用户设备UE与AP之间的数量关系，计算密集型任务的生成，使整个网络的时延t_all最小化；

步骤三：定义动作、状态和奖励，训练深度Q网络，并保存得到网络模型。

2.根据权利要求1所述方法，其特征在于：在步骤一中：

所述CF-MEC环境参数包括：

将网络设置为一个D×D的正方形，其中D为网络的尺寸参数，单位为m，系统带宽B，单位为Hz，网络中AP的数量为L个，网络中用户设备UE的数量为K个，用户设备UE限定的圆形服务区域的半径R，单位为m，AP的高度H和与AP连接的服务器的计算能力W，单位为GHz；

其中，LK且L/K3。

3.根据权利要求2所述方法，其特征在于：在步骤一中：

使用两个均匀随机数生成器分别生成L个随机数对作为AP的随机位置坐标，生成K个随机数对作为用户设备UE的随机位置坐标，计算各个用户设备UE到AP的平面距离，结合所述圆形服务区域的半径R，通过迭代算法和距离判断来确定实际服务每个用户设备UE的AP簇。

4.根据权利要求3所述方法，其特征在于：在步骤二中：

任务参数包括任务的大小b，单位为Mb，任务的到达时刻t_arrive，单位为s，产生该任务的用户设备UE编号I和CF-MEC网络的比特传输速率C，单位为bps；

所述密集型任务的平均间隔时间服从指数分布，每个用户设备UE产生的任务相互独立且参数的指数间隔相同；

所述密集型任务的生成过程中涉及到的参数包括：任务之间的平均间隔时间λ和总仿真时长T，单位为s。

5.根据权利要求4所述方法，其特征在于：在步骤二中：

计算密集型任务的生成包括以下步骤：

步骤二一：生成和用户数量L个数相同的用户列表，所述用户列表分别对应不同编号I的用户设备UE；每个用户列表的计时器独立，且初始时刻均为0；

对任意一个用户列表，通过任务之间的平均时间间隔λ，任务的大小b，得到了下一个任务到达时刻t_arrive，即：

t_arrive＝t_temp+λ

其中t_temp是当前时刻；

将t_temp和t_arrive信息添加进原用户列表中，重复这个过程直到计时器超过总仿真时长T为止；

在对任意一个用户列表完成步骤二一的操作后，对剩下的所有用户列表都执行相同的操作来完成用户计算任务的生成，得到所有用户的任务生成模型；

步骤二二：通过模拟网络负载的演化计算每个任务遭受的时延，通过计算使整个网络的时延t_all最小化；

所述时延t_all的计算由两部分组成：比特传输时延t_transmission和处理时延t_process，即：

t_all＝t_transmission+t_process

所述比特传输时延t_transmission的计算公式为：

所述处理时延t_process由用户的计算任务在服务器计算队列中的等待时延t_waiting和任务被计算所需的时间t_computation构成，即：

t_process＝t_waiting+t_computation

所述等待时延t_waiting通过计算任务的到达时刻之前，处理当前未被处理完的任务所需要的计算时间来确定；

所述计算时延t_computation的计算公式为：

其中，ρ是计算每Mb数据需要的时钟频率，单位为Mb/GHz。