[发明专利]基于深度强化学习的多用户边缘计算优化调度方法

权利要求书

1.基于深度强化学习的多用户边缘计算优化调度方法，其特征在于：该方法适用于多用户多边缘服务器的边缘计算系统，基于最小化总延迟原则，并根据深度强化学习策略，设计了最优的任务执行顺序，其具体步骤如下：

步骤一，对于拥有多个用户和多个边缘服务器的边缘计算系统，通过用户的边缘服务器选择策略和用户的卸载策略，计算出用户任务的本地计算延迟和边缘计算延迟；

步骤一中，用表示用户m在t时隙任务卸载到接收者MEC服务器n的边缘计算延迟；计算延迟包括传输延迟、排队延迟、处理延迟；

用R_m,n表示用户m向接收者MEC服务器n卸载任务的数据速率，按下式计算：

其中，参数B^m表示分配给用户m的信道带宽，P^m表示用户m的发射功率，h^m,n表示用户m与MEC服务器n之间的信道增益，表示用户m与MEC服务器n之间信道中的高斯噪声功率；

用表示用户m将计算数据卸载到MEC的传输延迟，按下式计算：

用矩阵表示t时隙用户m的MEC选择策略，其中α_m,n,t＝1表示t时隙用户m选择MEC服务器n进行计算任务卸载，α_m,n,t＝0表示t时隙用户m未选择MEC服务器n，用向量β_m,t∈{0,1}表示t时隙用户m的卸载决策，β_m,t＝1表示用户m选择在本地计算，β_m,t＝0表示用户m选择边缘计算；参数λ_m,t表示t时隙用户m的任务数据量；

若多个任务同时到达MEC服务器n，会产生排队延迟，用M^n,t表示t时隙将任务卸载到MEC服务器n的用户集合，即M^n,t＝{m|(1-β_m,t)α_m,n,t＝1}；用N_n,t表示t时隙卸载到MEC服务器n的任务总数，N_n,t＝∑_m(1-β_m,t)α_m,n,t；用矩阵I^(n,t)表示t时隙卸载到MEC服务器n的任务的处理顺序，I^(n,t)是一个N_n,t×N_n,t阶的矩阵，其中I^(n,t)的元素为0或1，表示用户m卸载的任务被调度为在同一时隙卸载的任务中要处理的第j个任务；用表示用户m的任务在MEC服务器n中的排队延迟，按下式计算：

其中，m'是其他用户的索引；表示完成前一时隙任务卸载的延迟，按下式计算：

其中ε表示时隙的长度；

用表示t时隙用户m卸载到MEC服务器n的任务的处理延迟，按下式计算：

其中F_e表示边缘服务器的计算能力，单位为CPU周期数/秒；ρ表示处理1bit数据所需的CPU周期数；

基于上述得到的传输延迟、排队延迟、处理延迟，用户m在t时隙任务卸载到MEC服务器n的边缘计算延迟为：

步骤二，根据本地计算延迟和边缘计算延迟建立计算任务卸载目标函数，将目标函数划分为两个子问题：任务调度；卸载决策和边缘服务器选择；

步骤三，利用任务调度算法获得任务调度的最优解，利用深度强化学习方法获得卸载决策和边缘服务器选择的最优解，结合两个子问题的最优解形成最优的多用户边缘计算调度方案。

2.根据权利要求1所述基于深度强化学习的多用户边缘计算优化调度方法，其特征在于：步骤一中，系统中共有M个移动用户，N个边缘服务器MEC，N个MEC服务器为M个用户提供计算服务；用n表示MEC服务器的索引，m表示用户的索引；每个用户选择一个服务器进行任务卸载。

3.根据权利要求1所述基于深度强化学习的多用户边缘计算优化调度方法，其特征在于：步骤一中，用表示t时隙用户m任务卸载到本地的计算延迟，按下式计算：

其中，F_m表示本地设备的处理能力，单位为CPU周期数/秒。