[发明专利]基于深度强化学习的分布式计算卸载方法及装置

说明书

本申请涉及一种基于深度强化学习的分布式计算卸载方法及装置。该方法：设置计算卸载框架，根据计算卸载框架建立通信模型和计算模型，通信模型用于计算终端设备的信号噪声干扰比，计算模型用于对终端设备进行本地计算和边缘计算，基于计算卸载框架、通信模型和计算模型，将计算卸载问题建模成马尔可夫决策过程，利用双Critic网络的深度确定性策略梯度算法对马尔可夫决策过程进行优化迭代求解，得到卸载决策。由于利用双Critic网络的深度确定性策略梯度算法来进行优化迭代求解，双Critic网络分别进行拟合，降低单个Critic网络进行拟合的复杂性，提高Critic网络的收敛速度，从而大大提高模型整体的收敛速度。

技术领域

本申请涉及基于计算模型的移动边缘计算的计算卸载技术领域，尤其涉及一种基于深度强化学习的分布式计算卸载方法及装置。

背景技术

随着5G技术的快速发展，带动了物联网（Internet of Things，IOT）以及计算密集应用的发展，例如智能制造、虚拟现实、增强现实以及车联网等。

移动边缘计算（Mobile Edge Computing，MEC）作为5G背景下的核心技术。该技术可以在靠近用户场景一侧，通过无线通信的方式为计算任务与应用提供额外的弹性算力，能够有效减少计算任务的计算时延与代价，使得计算密集型任务在低算力设备上的运行成为可能。

移动边缘计算相对于云计算具有近距离、高节点密度的特性，其服务器通常为小型基站（Base Station，BS），可以直接部署在无线网络控制器上、蜂窝网络基站、无线接入点等位置。移动边缘计算节点与用户设备距离更近使得移动边缘计算具有低计算延迟等特点。此外，由于边缘计算节点相对于云计算，单个节点需要服务的用户数量相对较少，所以具有更强的隐私性与安全性。因此，移动边缘计算对于计算密集、时延敏感型应用以及局部IOT场景具有更好的适用性。

移动边缘计算中的计算卸载与资源分配问题是移动边缘计算在学术研究领域的一个核心研究课题。对于该问题的研究通常可以分为两个阶段：

1、计算卸载框架的设置。

目前的研究工作中，计算卸载框架所使用的主要包括多用户-单BS和多用户-多BS。基于多用户-单BS框架的研究主要关注于多用户向同一个基站进行计算卸载时，传输信号的干扰问题以及用户终端卸载决策问题，其中涉及时分多址（Time Division MultipleAccess，TDMA）、正交频分多址（Orthogonal FrequencyDivision Multiple Access，OFDMA）、非正交多址（(Non-Orthogonal Multiple Access，NOMA）等通信相关技术，利用这类技术，对于多个用户通讯过程中的干扰进行计算。得到的信号噪声干扰比（Signal toInterference plus Noise Ratio，SINR）结果是影响系统计算卸载代价与卸载决策的关键因素。

基于多用户-多BS框架的研究主要关注于联合卸载决策与资源分配问题，这类框架中通常假设边缘服务器资源相对于云服务来说更加有限，具有更大的传输代价的云服务器将会参与到联合卸载决策与资源分配的过程中，卸载决策的过程除了需要确定各个终端设备卸载的任务量大小，边缘与云服务器分配给各个设备的计算资源大小需要同时被考虑。

2、计算卸载问题的定义与求解。

计算卸载问题的求解可以看作对于某一个优化目标的求解，由于该问题通常需要在大量约束与条件下求解，且其状态与决策空间具有高维度的特点，为NP-hard的混合整数非线性规划问题。因此对于计算卸载问题的求解也是该领域研究的一个主要问题，早期的求解方式通常是一些传统的非机器学习算法，包括量化设备的计算任务并通过设置阈值的方式进行卸载决策、贪心算法、遗传算法以及粒子集群算法等。

近年来，大量基于深度强化学习的计算卸载问题求解方案被提出，这些方法通常将计算卸载问题转化为一个马尔可夫决策过程完成求解。