[发明专利]基于强化学习的车载边缘环境下智能网联车辆任务卸载方法

说明书

本发明公开基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，结合车载边缘计算VEC优势，建立CAVs任务卸载模型，将CAVs应用程序划分为多个存在数据依赖关系的任务，并确定了最小化应用卸载总能耗和调度失败率的联合优化目标。本发明综合考虑不同时间片上车辆的位置变化、卸载方式、优化目标等，建立了任务卸载的马尔可夫决策过程MDP模型。在CAVs计算、存储能力有限的情况下，选择合适的卸载平台，保证应用满足时延约束的前提下，降低系统能耗。

技术领域

本发明涉及智能车联网技术领域，尤其涉及基于强化学习的车载边缘环境下智能网联车辆任务卸载方法。

背景技术

随着人工智能技术、移动通信技术和传感器技术的飞速发展，车辆的设计需求不再局限于单一驾驶功能，而是逐渐成为一个智能、互联、自主的系统，把这些车辆统称为智能网联车辆(Connected and Autonomous Vehicles,CAVs)。CAVs可以有效提高驾驶员的行驶效率、反应能力和驾驶舒适度。近年来，全球机动车保有量不断上升，道路上车辆数量的增加严重影响了道路交通系统的整体安全性和交通效率，CAVs的发展越来越受到学术界和工业界的关注。通过CAVs和基础设施及邻域车辆的信息资源共享，CAVs可以全面感知驾驶环境，有效提高道路行驶安全和交通效率，减少人为失误造成的交通事故，缓解交通拥堵情况。

根据Intel的一份报告，在2020年，CAVs每天将产生4TB的数据。面对如此庞大的数据量，一方面车载单元(On-board Unit,OBU)有限的计算和存储能力不足以满足大部分计算密集型应用需求；另一方面，对于计算密集型以及具有时延约束的应用程序，传统云计算中云服务器远离车辆，远程卸载应用将进一步给回程网络带来巨大压力，导致严重的服务延迟和带宽压力，不足以满足应用程序需求。如何选择合适的调度平台，降低CAVs本地应用和各种第三方应用的卸载总能耗和调度失败率，是目前CAVs任务卸载中重点关注的问题。

在车载边缘计算(Vehicular Edge Computing,VEC)中，具有计算和存储能力的移动边缘计算(Mobile Edge Computing,MEC)服务器可以部署在路侧单元(Roadside Units,RSUs)中。CAVs产生的应用数据不仅可以在本地车辆处理，还可以通过车辆与基础设施(Vehicle to Infrastructure,V2I)通信卸载至RSUs上进行处理或通过车辆与车辆(Vehicle to Vehicle,V2V)通信卸载至通信范围内的协同车辆上进行处理。在车辆边缘侧进行应用数据的处理和分析，可以显著缩短应用完成时间，降低能耗。因此，在VEC环境下考虑CAVs的任务卸载问题为满足CAVs应用服务需求提供了一个良好的解决方案。因此，针对车载边缘计算下面向卸载总能耗和调度失败率的智能网联车辆任务卸载策略问题，目前现有技术尚未形成一个完整有效的解决方案。

发明内容

本发明的目的在于提供基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，综合考虑了车辆移动性、任务间数据依赖关系、应用可容忍时间等，结合车载边缘计算，优化卸载总能耗和调度失败率。该方法考虑车辆移动性、任务间数据依赖关系、应用可容忍时间的影响；通过引入Metropolis准则，平衡强化学习算法的探索与开发。有效降低车载边缘环境下的智能网联车辆任务卸载调度总能耗和调度失败率。

本发明采用的技术方案是：

基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，其包括以下步骤：

步骤1，构建表征VEC环境下的CAV任务卸载的MDP模型并初始化时间片time_slot＝1；

步骤2，判断时间片time_slot是否为偶数；是则，任务车辆TaV生成一个CAVs应用程序，分解后任务进入任务车辆TaV的任务队列；否则，执行步骤3；

步骤3，计算任务车辆TaV与该任务车辆TaV通信范围内的RSUs和服务车辆SeVs距离得到S_{time_slot}；