[发明专利]一种基于多智能体深度强化学习的车联网边缘缓存方法

说明书

一种基于多智能体深度强化学习的车联网边缘缓存方法，通过以下步骤实现，第1、系统模型与数学模型的构建；第2、建立基于多智能体的执行者‑评价家结构的协同内容分发的边缘缓存策略。本发明首先采用Zipf分布请求内容，每个智能体根据自己的策略网络及其过程中的噪声选择相应动作并执行，之后判断是否超出缓存，超出则删除流行度较低内容。然后，每个智能体获得环境奖励，获得新的观测空间，并将相应数据放入经验池中。最后，更新每个智能体的目标网络参数。结果表明本方法所提出的车联网边缘缓存方案与其他方法相比，在减少内容内容分发过程中的时延、提高内容命中率和成功率方面有较好的表现。

【技术领域】

本发明属于边缘车辆网络领域，具体涉及一种基于多智能体深度强化学习的车联网边缘缓存方案。

【背景技术】

边缘缓存可以通过在无线访问网络上提供存储功能来减轻对大型回程带宽的需求并减少内容交付延迟。需要指出的是，通过在网络边缘上缓存内容，最多可以减少35％的回程流量。受到边缘节点存储大小的限制，无法在本地缓存所有内容，为了提高对边缘节点的存储空间的利用率，对边缘节点的内容缓存策略进行研究就变得尤为重要。但是，车辆的可变参与和短暂交互增加了边缘缓存系统的操作复杂性，当系统状态空间变大时，难以在可容忍的时间内获得最佳解。车联网的这些固有特性要求通过利用一些有效的解决方案来适应协作边缘缓存。深度强化学习最近在边缘缓存和内容交付方面引起了很多关注，在解决边缘计算和云计算的优化问题中显示出巨大的潜力。因而，将车联网的边缘缓存与深度强化学习算法结合进行研究，在提供低延迟和高可靠性的环境，促进车联网的发展等方面具有重要的理论价值和实际意义。

【发明内容】

本发明的目的是为了解决车联网中数据流量大幅度增长所导致的响应时延过高的问题，提出了基于多智能体深度强化学习的车联网边缘缓存方案。我们建立了一个协同内容分发的车联网边缘缓存方案，车辆之间可以相互协作，有选择的缓存内容，从而最大程度减少内容分发过程中的时延。另外，该方案还考虑了不同路边单元覆盖范围下内容流行的程度可能不同的情况，以及车辆在不同的位置会受到不同的信道损伤的情况。该方案中，车辆可以根据自己对于环境的观察，自主的做出内容访问和缓存决策，使自身奖励最大化。

本发明提供的基于多智能体深度强化学习的车联网边缘缓存方法，主要包括如下关键步骤：

第1、系统模型与数学模型的构建：

第1.1、建立系统模型；

第1.2、建立内容缓存数学模型；

第1.3、建立内容获取数学模型；

第2、建立基于多智能体的执行者-评价家结构的协同内容分发的边缘缓存策略：

第2.1、策略设计；

第2.2、训练分布式执行的多智能体执行者-评价家框架；

第2.3、基于多智能体强化学习的协同内容分发的边缘缓存算法的描述。

步骤第1.1中建立的系统模型由1个宏基站(MBS)、多个路边单元(RSU)和多辆车辆组成；车辆间可以相互通信也可以缓存部分内容，考虑在不同的RSU覆盖范围下的内容具有不同的流行度，因此需要考虑不同的RSU覆盖范围下的车辆，假定各个RSU覆盖范围内的车辆到相应的RSU的位置服从泊松分布，每个内容f都由3个特征来进行描述，其中s_f表示内容f的大小，d_f表示内容f的最大容忍交付时延，ρ_f表示内容f的流行度；另外，为每个内容分配一个唯一的索引，并在车辆请求内容时将该索引用作内容ID；假定MBS中缓存了所有车辆请求的内容，并在MBS上部署一个中央控制器，充当所有边缘服务器的管理器，存储着交互和同步信息；RSU和车辆都具有边缘缓存能力，减少内容交付过程中的时延。

步骤第1.2中建立内容缓存数学模型的方法如下，