[发明专利]一种雾无线接入网中基于强化学习的边缘缓存方法

摘要

本发明公开了一种雾无线接入网中基于强化学习的边缘缓存方法，包括：(1)根据全局文件流行度，初始化节点的本地缓存动作向量、系统状态，以及权重向量；(2)记录前一时隙的缓存动作向量；(3)在每个时隙结束时刻，根据贪婪选择算法以及近似值函数，得出新的缓存动作向量；(4)根据时隙内收集到的用户请求次数计算内容流行度，同时根据时隙内收集的用户偏好标记，结合文件特征标记，计算区域用户偏好，确定系统状态；(5)根据时隙内用户对各个文件的请求次数，计算缓存命中率，得到即时回报函数以及即时误差函数；(6)更新权重向量，进入下一时隙。

主权项

1.一种雾无线接入网中基于强化学习的边缘缓存方法，其特征在于：包括以下步骤：S1：根据全局文件流行度初始化节点的本地缓存动作向量a(0)，并随机初始化系统状态s(0)和权重向量w₀；S2：在第t个时隙，记录上一时刻的缓存动作向量a(t‑1)，当前时刻的缓存动作向量a(t)＝[a₁(t),...,a_f(t),...,a_F(t)]^T，其中a_f(t)＝1表示在第t个时隙第f个文件已缓存至本地，a_f(t)＝0表示在第t个时隙第f个文件未缓存至本地；S3：本地节点各自计算周期内的内容流行度p(t)和收集自身覆盖区域用户偏好q(t)，并结合S2中记录的上一时刻缓存动作向量a(t‑1)，确认当前的系统状态s(t)；S4：在第t个时隙结束时刻，根据事先设定的贪婪选择中的贪婪因子∈_t，进行缓存动作向量的选择：其中，为近似值函数，s(t)为系统状态，为缓存动作集合，w_t为权重向量；S5：收集用户对各个文件的请求次数，计算得到即时回报函数r(t)，并以此计算即时误差函数S6：更新权重向量w_t，并令t＝t+1，开始下一个时隙的缓存优化。