[发明专利]一种VANET中基于时变线性的加速强化学习边缘缓存方法

说明书

本发明公开了一种VANET中基于时变线性的加速强化学习边缘缓存方法，首先，构建动态的时变线性预测模型，通过考虑每个文件的动态老化，并根据历史内容请求来预测未来的内容请求；然后，构建文件缓存替换函数，并对该函数进行调整；最后，优化缓存策略函数，通过合成假设样本来增加每个时隙的样本数，以达到Q函数的快速收敛，并相应地替换缓存的内容，最大化总的缓存效益。本发明具有更高的缓存命中率和长期效益；通过线性时变预测模型，可以对车辆请求进行实时预测，同时实时的替换边缘服务器中的缓存文件，保证缓存文件的有效性。

技术领域

本发明属于车联网技术领域与通信领域，具体涉及一种VANET中基于时变线性的加速强化学习边缘缓存方法。

背景技术

随着网络与通信技术的发展，车辆可以在行驶过程中下载的自己喜欢的音乐、电影或者其他文件，越来越多的物联网设备交换数据随之产生。飞速增长的移动流量给基于云的服务供应模式带来了巨大压力，因为将大量数据移入或移出云会消耗大量频谱资源，同时可能会导致大量延迟。将内容缓存在靠近客户端的边缘服务器中，可以有效减轻用户对移动接入网络容量带来的压力问题，减轻流量负担，减少内容访问延迟并提高用户体验，据预测，在网络边缘缓存内容最多可以减少35％的回程流量需求。但是，与不断增长的内容量相比，边缘节点上的存储始终受到限制，无法在本地缓存所有内容。因此，如何在有限容量的网络边缘有效的缓存内容是至关重要的。

发明内容

发明目的：本发明提出一种VANET中基于时变线性的加速强化学习边缘缓存方法，可以对车辆请求进行实时预测，同时实时的替换边缘服务器中的缓存文件，保证缓存文件的有效性。

发明内容：本发明提出一种VANET中基于时变线性的加速强化学习边缘缓存方法，包括以下步骤：

(1)构建动态的时变线性预测模型，通过考虑每个文件的动态老化，并根据历史内容请求来预测未来的内容请求；

(2)构建文件缓存替换函数，并对该函数进行调整；

(3)优化缓存策略函数，通过合成假设样本来增加每个时隙的样本数，以达到Q函数的快速收敛，并相应地替换缓存的内容，最大化总的缓存效益。

进一步地，所述步骤(1)包括以下步骤：

(11)设文件f的第一次请求时刻为τ_t，在t时刻请求文件的t-τ_t维特征向量X_t,f表示如下为：

(12)根据t时刻所观察到的历史请求内容，设置t时刻的预测内容f的请求如下：

(13)通过施加以下线性约束来估计最优参数向量θ：

其中，参数θ_i,j为第一次请求时刻为i的文件f，在时刻t-i和t-j处请求的相关系数，且0≤θ_i,j≤1,1≤j≤i。

进一步地，所述步骤(2)包括以下步骤：

(21)定义缓存策略函数为π:S→A,表示将状态的s∈S映射到动作a∈{0,...,s}；对于t时刻的状态st，缓存向量由动作a_t＝π(s_t)决定，表示时刻t处缓存更新的文件数；用V_t(s,a)表示在时刻t处状态s对应的执行动作a的平均奖励值；将一个完整的决策策略用π表示，则状态s_t的最优表示如下：

(22)为了使任意状态s的平均奖励值最大化，给出以下优化函数：

其中，Π为策略函数组成的集合；