[发明专利]基于多智能体的车速感知的计算任务卸载和资源分配方法

权利要求书

1.一种基于多智能体的车速感知的计算任务卸载和资源分配方法，其特征在于，包括以下步骤：

1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；

2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；

3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；

4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；

5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；

6)将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配；

根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ₁、高优先级任务φ₂及低优先级任务φ₃，关键任务φ₁、高优先级任务φ₂及低优先级任务φ₃对应的时延门限分别为Thr₁、Thr₂及Thr₃，其中，关键任务φ₁的时延门限为10ms，低优先级任务φ₃的时延门限为100ms，高优先级任务φ₂与当前车辆的行驶速度相关，令表示车辆k在时刻t的任务，则此时，任务的时延门限为：

其中，v_max为道路最高限速，α²为正态函数的方差，为了保证当前车速在道路最高限速v_max内的概率超过95％，则α＝v_max/1.96，exp(·)为以e为底的指数函数，当时，当时，为车辆k在t时刻的速度，Thr₂为道路最高限速v_max对应的时延门限；

VEC服务器分配给车辆k的上行信道n的传输速率为：

其中，σ²为噪声功率，P为传输功率，为车辆k与VEC服务器之间上行信道n的信道干扰，为车辆k与VEC服务器之间上行信道n的信道增益，信道带宽等于为VEC服务器的上行总带宽，为VEC服务器的上行信道个数，为车辆与VEC之间的上行信道集合，log₂(·)为以2为底的对数函数；

设表示车辆k与VEC服务器之间的上行信道n是否分配给车辆k，若分配，则为1，否则，则为0，得车辆k与VEC服务器之间的上行传输速率为：

VEC服务器分配给车辆k的下行信道n的传输速率为：

其中，σ²为噪声功率，P为传输功率，为车辆k与VEC服务器之间下行信道n的信道干扰，为车辆k与VEC服务器之间下行信道n的信道增益，信道带宽等于为VEC服务器的下行总带宽，为VEC服务器的下行信道个数，为车辆与VEC之间的下行信道集合；

设表示车辆k与VEC服务器之间的下行信道n是否分配给车辆k，若分配，则为1，否则，则为0，得车辆k与VEC服务器之间的下行传输速率为：

车辆k的任务卸载到VEC服务器执行消耗的总时延为：

其中，为向上取整函数，为车辆k的任务的文件大小，为处理车辆k的任务需要的计算密度，为车辆k下载的任务的文件大小相对于原上传任务缩小的比例，为VEC服务器给车辆k的任务分配的计算资源比例，f^VEC为本地VEC服务器的CPU频率，为车辆k与VEC服务器之间的上行传输速率，为车辆k与VEC服务器之间的下行传输速率；

根据车辆k自身分配的CPU频率f^k，计算车辆k的任务在本地执行的时间消耗为：

在时刻t，车辆k的任务能够选择继续等待、卸载到本地VEC服务器以及本地执行，设表示车辆k的任务是否继续等待，当继续等待，则为1，否则，则为0，设继续等待时间为T_h，表示车辆k的任务是否卸载到本地VEC服务器，当为1时，则表示车辆k的任务卸载到本地VEC服务器，对于车辆k的任务从产生任务到执行动作完成需要花费的总时延为：

其中，为根据车辆k的任务产生的时间；

当车辆k的计算任务卸载到VEC服务器时，卸载任务的能量消耗包括上传计算任务消耗的能量及下载任务消耗的能量，卸载到VEC服务器的能量消耗为：

当车辆k的计算任务在本地处理时，根据处理车辆k的任务所需要的能量密度得任务在本地处理的能量消耗为：

在时刻t，当车辆执行卸载策略后，本地VEC服务器服务范围内所有车辆消耗的能量E(t)为：

在任务时延门限、计算资源和无线资源有限的条件下，形成的减少车辆端处理任务能量消耗的目标函数为：

其中，为车辆集合，T为车辆行驶仿真的总时间。