[发明专利]一种基于深度强化学习的多车应用计算卸载方法及终端

说明书

本发明公开一种基于深度强化学习的多车应用计算卸载方法及终端，基于多个智能网联汽车、多个路边单位以及与所述多个智能网联汽车对应的多个DNN应用构建车辆边缘计算网络；根据所述车辆边缘计算网络确定计算卸载问题，并根据所述计算卸载问题建立马尔科夫决策过程模型；基于所述马尔科夫决策过程模型使用SA‑MADDPG算法确定卸载策略，并执行所述卸载策略，马尔科夫决策过程模型能够准确地描述多车计算卸载的过程，结合模拟退火的多智能体深度确定性策略梯度算法能够避免陷入局部最优解，加快收敛速度，有效地适应动态的多车环境，以此确定出最优的卸载策略，从而降低卸载失败率。

技术领域

本发明涉及边缘计算技术领域，尤其涉及一种基于深度强化学习的多车应用计算卸载方法及终端。

背景技术

随着物联网(Internet of Things，IoT)技术的快速发展，车辆逐渐成为一种智能、互联、自主的终端，即智能网联汽车(Connected and Automat-ed Vehicles，CAVs)。CAVs集成了人工智能辅助(Artificial Intelligence-aided，AI-aided)的信息和通信技术，在构建更安全、更智能的交通系统(Intelligent Transportation System，ITS)的过程中发挥着关键作用。在移动通信技术的帮助下，CAVs采用车辆到一切通信(Vehicle toEvery-thing，V2X)与基础设施或者其他CAVs互联，通过它们间的信息交换，CAVs可以全面感知周边环境，有效改善人为失误造成的交通事故，缓解交通拥堵。

CAVs的发展，推动了基于深度神经网络(Deep Neural Network-based，DNN-based)的车载新型应用的出现，如自动驾驶、群智感知、虚拟现实游戏、增强现实和视频娱乐等。这些应用通常是计算密集型和时延敏感型的，需要高性能的计算资源才能在响应截止期内被执行完成。虽然CAVs都配备了具有计算能力的车载设备，但通常无法满足新型应用的计算性能要求，其服务质量(Quality of Service，QoS)无法得到保障。这对CAVs实时、可靠的车辆服务提出了重大挑战。

计算卸载是解决上述挑战的关键技术之一。基于DNN的应用可以划分为多个DNN层。通过计算卸载来扩展CAVs的计算能力，这些DNN层可以卸载到计算资源丰富的高性能服务器上。最初，研究人员提出了基于移动云计算(Mobile Cloud Computing，MCC)的计算卸载范式。它可以充分利用具有强大计算资源的云服务器，为车辆提供高效的计算服务。但是，由于传统的云服务器距离CAVs很远，远程卸载会导致严重的数据传输延迟，降低QoS。因此，MCC不能很好地满足基于DNN应用的实时响应要求。

为了克服上述MCC的缺点，近年来出现了基于车辆边缘计算(vehicular edgecomputing，VEC)的计算卸载范式，即移动边缘计算(mobile edge computing，MEC)在车辆场景中的应用。在VEC网络中，路边服务器(Roadside Edge Servers，RES)可以部署在具有计算资源的路边单位(Roadside Units，RSUs)中来扩展CAVs的计算能力，来向CAVs提供近端服务。通过将DNN层卸载到RSUs，基于DNN的应用程序的执行延迟可以显著减少。

因此，在VEC环境下考虑多车的计算卸载问题为满足CAVs应用服务需求提供了一个良好的解决方案。但是，针对VEC环境下面向卸载失败率的多车计算卸载策略问题，目前的研究工作尚未形成一个完整有效的解决方案。

发明内容

本发明所要解决的技术问题是：提供一种基于深度强化学习的多车应用计算卸载方法及终端，能够降低卸载失败率。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种基于深度强化学习的多车应用计算卸载方法，包括：

基于多个智能网联汽车、多个路边单位以及与所述多个智能网联汽车对应的多个DNN应用构建车辆边缘计算网络；