[发明专利]一种基于车路云协同的联合计算迁移和资源分配方法

权利要求书

1.一种基于车路云协同的联合计算迁移和资源分配方法，其特征在于，包括步骤如下：

步骤(1)构建基于车-路-云协同的车载网络模型，车辆可以接入云或者移动边缘设备；

步骤(2)建立包括N个用户迁移J个任务的联合计算迁移和资源分配模型；

步骤(3)每辆车迁移任务时获取周边移动边缘设备的资源集合μ_m，数据中心云服务器的资源集合σ_c以及任务信息w_n,j；

步骤(4)采用分布式的资源分配方法，在考虑每条计算迁移链路服务质量要求的情况下，以合理高效的计算迁移和资源分配达到系统时延最小化为目标构建深度强化学习模型，其中，状态空间S为与计算迁移和资源分配有关的信息，动作空间A为无线接入方式，发射功率和选择的信道，奖励函数R为系统时延取负值，具体为：

步骤(4.1)、具体地定义状态空间S为与计算迁移和资源分配有关的信息，包括每个MEC的资源集合μ_m，数据中心云服务器的资源集合σ_c，需要执行任务的相关信息w_n,j，即：

s_t＝{μ_m,σ_c,w_n,j}

μ_m＝{Q_m,R_m,f_m,E_m}，其中Q_m表示MEC服务器的最大计算资源，R_m表示MEC服务器最大可用存储容量，f_m表示MEC服务器的计算能力，E_m表示MEC服务器CPU每运转一周消耗的能量；

σ_c＝{f_c,E_c}，f_c表示中心云服务器的计算能力，E_c表示中心云服务器CPU每运转一周消耗的能量，在这里中心云服务器拥有足够的存储资源及计算资源保证任务可以被正常执行；

w_n,j＝{d_n,j,t_n,j,c_n,j,q_n,j,n∈N,j∈J}，d_n,j表示用户n要迁移的任务j的大小,t_n,j表示用户n对任务j的最大可容忍时延,c_n,j表示用户n完成任务j所需的CPU周期数，q_n,j表示用户n要计算任务j所需的计算资源；

将每辆车视为智能体，每次车基于当前状态s_t∈S选择无线接入方式，子信道和发射功率；

步骤(4.2)、定义动作空间A为无线接入方式，发射功率和选择的信道，表示为：

无线接入方式λ：每辆车有M+1种任务迁移决策，令λ_n＝{0，1,2,...,M}，λ_n＝{1,2,...,M}表示车辆n选择将其计算任务迁移到路边单元m上的边缘服务器执行，而λ_n＝0是车辆n决定将其计算任务迁移到数据中心云服务器上执行；

子信道C：选择MEC进行任务迁移，在路边单元的可用带宽下有I个子信道可以选择，选择数据中心云服务器进行任务迁移，在宏蜂窝的可用带宽下有K个子信道可以选择

传输功率P：车辆n在上传j任务时选择不同的发射功率,但受到其设置的最大发射功率的限制；

步骤(4.3)、定义奖励函数R，联合计算迁移和资源分配的目标是车选择无线接入方式、子信道和发射功率，在满足每条计算迁移链路服务质量要求的情况下，以合理高效的计算迁移和资源分配达到系统时延最小化为目标，因此奖励函数可以表示为：

其中，为第n个用户将第j个任务上传到第m个边缘服务器的上传时延，为第m个边缘服务器处理第j个任务的计算时延，为第n个用户将第j个任务通过k信道上传到数据中心云服务器的上传时延，为第j个任务通过k信道上传到数据中心云服务器的计算时延，且表示n用户执行其产生的第j个计算任务时只能选择一种接入方式，选择接入到移动边缘设备或者云设备，表示n用户执行其产生的第j个计算任务时选择接入到移动边缘设备，表示n用户执行其产生的第j个计算任务时选择接入到云设备；

为了获得长期的良好回报，应同时考虑眼前的回报和未来的回报，因此，强化学习的主要目标是找到一种策略来最大化预期的累积折扣回报，

其中β∈[0,1]是第一折扣因子；

步骤(4.4)、依据建立好的S，A和R，在Q学习的基础上建立深度强化学习模型，评估函数Q(s_t,a_t)表示从状态s_t执行动作a_t后产生的折扣奖励，Q值更新函数为：

其中r_t为即时奖励函数，γ为第二折扣因子，s_t为车在t时刻的获取的移动边缘服务器、云服务器和现有任务状态信息，s_t+1表示车在执行a_t后的状态，A为动作a_t构成的动作空间；

步骤(5)考虑连续动作空间中的联合优化问题，利用包含深度学习拟合，软更新，回放机制三个方面的DDPG算法优化深度强化学习模型；

步骤(6)根据优化后的深度强化学习模型，得到最优用户无线接入方式，发射功率和信道分配策略。