[发明专利]一种基于深度强化学习的移动边缘计算任务分配方法

权利要求书

1.一种基于深度强化学习的移动边缘计算任务分配方法，其特征在于，包括：

S1：建立多边缘云协作移动边缘计算任务分配优化问题模型，其中，优化问题模型包括约束条件和目标，约束条件包括：每个参与终端设备计算的边缘云的计算任务比例在[0,1]之间，所有参与终端设备计算的边缘云的计算任务比例之和为1，为每个处理终端设备任务的边缘云所分配的计算资源在[0,F]之间；为所有处理终端设备任务的边缘云所分配的计算资源总和为F；目标为以延迟和能量消耗的总和最小化；

S2：将移动边缘计算任务分配问题建模为马尔可夫决策过程；

S3：将深度强化学习策略引入到移动边缘计算任务分配，通过观察当前时刻各终端设备计算任务完成情况，从历史经验中学习，选择下一时刻的最佳任务分配策略，以实现移动边缘计算任务的智能分配。

2.如权利要求1所述的移动边缘计算任务分配方法，其特征在于，步骤S1包括：

定义t时刻，第m个终端设备和控制中心之间的数据速率R_m(t)：

其中，移动边缘计算系统由M个终端设备、K个边缘云和1个控制中心组成，上行带宽B_u平均分配给每个终端设备，P_m是终端设备m的发射功率，h_m(t)为第m个终端设备和控制中心之间的信道增益，为边缘云端的噪声水平；

定义t时刻，第m个终端设备和控制中心之间的任务传输能耗E_m(t)：

其中，T_m(t)为第m个终端设备和控制中心之间的任务传输延迟，D_m为任务数据大小，R_m(t)为任务数据的传输数据速率，P_r是控制中心的接收功率；

定义t时刻，第k个边缘云处理第m个终端设备任务的计算延迟

其中，为第k个边缘云参与第m个终端设备的计算任务比例，为第k个边缘云处理第m个终端设备任务所分配的计算资源，C_m为第m个终端设备处理1bit任务所需的CPU周期数；

根据第m个终端设备和控制中心之间的任务传输延迟、第k个边缘云处理第m个终端设备任务所分配的计算资源，获得第k个边缘云处理第m个终端设备任务的能耗

其中，κ≥0为有效的开关电容；

获取系统总能耗E(t)以及系统总时延T(t)，根据系统总能耗和系统总时延获得系统完成计算任务所消耗的总成本为U(t)＝w₁E(t)+w₂T(t)，其中，w₁和w₂分别是能耗和时延的权重，且w₁+w₂＝1；

通过联合计算任务和计算资源分配，构建多边缘云协作移动边缘计算任务分配优化问题模型，移动边缘计算任务分配优化问题模型的目标为最小化系统总成本，即：

s.t.

其中，F为每个边缘云最大的计算资源。

3.如权利要求1所述的移动边缘计算任务分配方法，其特征在于，步骤S2包括：

移动边缘计算任务分配问题转化为一个马尔可夫决策过程(S；A；p(s′|s,a)；r；π(a|s))，具体如下：

状态空间S：当前时刻各终端设备任务数据大小D_m的集合；

动作空间A：计算任务和计算资源策略的集合；

转移概率p(s′|s,a)：在任务状态s情况下，采用某一动作a时，状态s转变为下一状态s′的概率；

奖励r：控制中心采用某一动作a时，任务状态从s转移到下一任务状态s′获得的成本；

策略π(a|s)：在任务状态s时，选择某一任务分配动作a的概率；

其中，定义累积奖励R为所有奖励r的累积，即：

r_n表示在第n个时刻获得的奖励，γ为衰减因子且γ∈[0,1)，衰减因子决定了未来奖励和当前时刻奖励的重要性。