[发明专利]一种基于深度强化学习的移动边缘计算任务分配方法

说明书

本发明提供了一种基于深度强化学习的移动边缘计算任务分配方法，旨在将深度强化学习策略引入到移动边缘计算任务分配，以期实现移动边缘计算任务的智能分配。首先，考虑到用户设备的计算能力和能量容量有限，本专利提出多边缘云协作移动边缘计算系统模型。其次，通过联合设计多边缘云的计算任务分配和计算资源管理，建立延迟和能量消耗的总和最小化的任务分配优化问题模型。再次，为了解决上述非凸优化任务分配问题，将移动边缘计算任务分配问题建模为马尔可夫决策过程。最后，针对上述马尔可夫决策过程中高维连续动作空间特点，提出双延迟深度确定性策略梯度算法，以获得多边缘云的计算任务分配和计算资源管理的近似最优联合策略。

技术领域

本发明涉及无线通信技术领域，尤其涉及一种基于深度强化学习的移动边缘计算任务分配方法。

背景技术

随着移动应用的迅速发展，越来越多的移动应用任务日趋计算密集和延迟敏感性。然而，这些任务可能对计算和电池能力有限的用户设备带来巨大挑战。为了应对这些挑战，移动边缘计算已被视为云计算的扩展，用于移动网络中的数据计算和通信。移动边缘计算将服务器放置在移动网络边缘，并提供计算和存储资源。服务器将更方便地提供计算服务来处理用户设备的密集计算任务，从而降低服务时延和更好的服务质量。

然而，现有移动边缘计算系统考虑单个边缘云的任务分配场景。由于有限的计算和能量容量，单一边缘云可能提供非常有限的任务分配性能，多边缘云协同研究的场景会更合适。同时，几乎所有现有的研究都集中在具有固定用户设备的静态边缘计算系统上。实际上，用户设备在计算过程中总是四处走动，这使得很难获得最佳策略，由此可知，现有技术中的方法存在较难适应环境动态性的技术问题。

发明内容

本发明提出一种基于深度强化学习的移动边缘计算任务分配方法，用于解决或者至少部分解决现有技术中的方法存在的较难适应环境动态性的技术问题。

为了解决上述技术问题，本发明提供了一种基于深度强化学习的移动边缘计算任务分配方法，包括：

S1：建立多边缘云协作移动边缘计算任务分配优化问题模型，其中，优化问题模型包括约束条件和目标，约束条件包括：每个参与终端设备计算的边缘云的计算任务比例在[0,1]之间，所有参与终端设备计算的边缘云的计算任务比例之和为1，为每个处理终端设备任务的边缘云所分配的计算资源在[0,F]之间；为所有处理终端设备任务的边缘云所分配的计算资源总和为F；目标为以延迟和能量消耗的总和最小化；

S2：将移动边缘计算任务分配问题建模为马尔可夫决策过程；

S3：将深度强化学习策略引入到移动边缘计算任务分配，通过观察当前时刻各终端设备计算任务完成情况，从历史经验中学习，选择下一时刻的最佳任务分配策略，以实现移动边缘计算任务的智能分配。

在一种实施方式中，步骤S1包括：

定义t时刻，第m个终端设备和控制中心之间的数据速率R_m(t)：

其中，移动边缘计算系统由M个终端设备、K个边缘云和1个控制中心组成，上行带宽B_u平均分配给每个终端设备，P_m是终端设备m的发射功率，h_m(t)为第m个终端设备和控制中心之间的信道增益，为边缘云端的噪声水平；

定义t时刻，第m个终端设备和控制中心之间的任务传输能耗E_m(t)：

其中，T_m(t)为第m个终端设备和控制中心之间的任务传输延迟，D_m为任务数据大小，R_m(t)为任务数据的传输数据速率，P_r是控制中心的接收功率；

定义t时刻，第k个边缘云处理第m个终端设备任务的计算延迟