[发明专利]一种基于多智能体深度强化学习的车联网边缘缓存方法

权利要求书

1.一种基于多智能体深度强化学习的车联网边缘缓存方法，其特征在于该方法包括如下步骤：

第1、系统模型与数学模型的构建：

第1.1、建立系统模型；

第1.2、建立内容缓存数学模型；

第1.3、建立内容获取数学模型；

第2、建立基于多智能体的执行者-评价家结构的协同内容分发的边缘缓存策略：

第2.1、策略设计；

第2.2、训练分布式执行的多智能体执行者-评价家框架；

第2.3、基于多智能体强化学习的协同内容分发的边缘缓存算法的描述，方法如下：

步骤1：初始化状态空间，每个智能体的目标策略网络，主价值网络和主策略网络的参数，智能体的个数，智能体的最大缓存容量，内容集合，采样批次大小；

步骤2：初始化一个随机过程以便进行探索，初始化接收的状态空间；

步骤3：按照Zipf分布获得内容的流行度并且按照流行度请求内容；

步骤4：每个智能体根据自己的策略网络以及过程中的噪声选择动作并执行，

步骤5：执行动作后判断缓存的内容是否超出了缓存容量，若超出了，删除缓存区中流行度较低的内容，并获得环境奖励和新的观测空间，将每个智能体的当前状态、执行动作、奖励、下一状态存入到对应的经验回放池中；

步骤6：将新的环境观测空间赋值给原来的观测结果，从经验回放池P中随机选择p条数据，每个智能体根据公式更新策略网络的参数和价值网络的参数，并更新每个智能体的目标网络的参数。

2.如权利要求1所述的基于多智能体深度强化学习的车联网边缘缓存方法，其特征在于，步骤第1.1中建立的系统模型由1个宏基站(MBS)、多个路边单元(RSU)和多辆车辆组成；车辆间可以相互通信也可以缓存部分内容，考虑在不同的RSU覆盖范围下的内容具有不同的流行度，因此需要考虑不同的RSU覆盖范围下的车辆，各个RSU覆盖范围内的车辆到相应的RSU的位置服从泊松分布，每个内容f都由3个特征来进行描述，其中s_f表示内容f的大小，d_f表示内容f的最大容忍交付时延，ρ_f表示内容f的流行度；另外，为每个内容分配一个唯一的索引，并在车辆请求内容时将该索引用作内容ID；MBS中缓存了所有车辆请求的内容，并在MBS上部署一个中央控制器，充当所有边缘服务器的管理器，存储着交互和同步信息；RSU和车辆都具有边缘缓存能力，减少内容交付过程中的时延。

3.如权利要求2所述的基于多智能体深度强化学习的车联网边缘缓存方法，其特征在于，步骤第1.2中建立内容缓存数学模型的方法如下，所有内容的流行度遵循Zipf分布，内容用集合F＝{1，2,3,......,F}表示，所以车辆请求内容f的概率表示为：

其中，ρ_f表示内容f的流行度，ε是控制内容相对流行的内容请求系数，该系数越大表示内容重复使用率越高；在该模型中MBS缓存了用户需要的所有内容，并且在MBS中部署有中央控制器，存储着其管理范围内的所有车辆和RSU的缓存内容，用矩阵表示为：

其中，

j≠0的情况，j表示车辆的编号，表示车辆的缓存情况：

j＝0的情况，j为标签，表示RSU的缓存情况：

当车辆发出内容请求时，如果本地没有缓存则车辆或者接受请求的RSU根据自身缓存的内容自主决策是缓存内容还是保持原状不变；其中RSU用集合R＝{r₁，r₂，r₃，......，r_I}表示，r_i覆盖下的车辆用集合表示，车辆的缓存决策用caf_i,j表示：

另外，由于车辆和RSU具有有限的缓存容量，缓存的内容总量不能超过车辆和RSU的缓存能力，表示车辆缓存容量，表示RSU缓存容量，即满足下述约束条件：

其中s_f表示内容f的大小，当车辆或者RSU的缓存空间已满时，为了提高内容命中率并减少内容分发过程中的时延，采取的策略是删除已缓存的内容中流行度较低的内容，内容的流行度可以通过Zipf分布得到。