[发明专利]一种雾无线接入网中基于强化学习的边缘缓存方法

说明书

本发明公开了一种雾无线接入网中基于强化学习的边缘缓存方法，包括：(1)根据全局文件流行度，初始化节点的本地缓存动作向量、系统状态，以及权重向量；(2)记录前一时隙的缓存动作向量；(3)在每个时隙结束时刻，根据贪婪选择算法以及近似值函数，得出新的缓存动作向量；(4)根据时隙内收集到的用户请求次数计算内容流行度，同时根据时隙内收集的用户偏好标记，结合文件特征标记，计算区域用户偏好，确定系统状态；(5)根据时隙内用户对各个文件的请求次数，计算缓存命中率，得到即时回报函数以及即时误差函数；(6)更新权重向量，进入下一时隙。

技术领域

本发明涉及移动通信系统中的边缘缓存方法，尤其涉及一种雾无线接入网中基于强化学习的边缘缓存方法。

背景技术

随着实时多媒体服务在5G通信网络中逐渐成为主要业务，无线网络为了支持这种高速大容量的无线网络业务，正在遭受空前的数据传输压力。雾无线接入网作为5G通信系统的新型系统架构，通过在节点中提前缓存流行内容，从而可以有效地降低回传负载，在缓解前传拥塞和降低通信时延等方面有着巨大优势。由于网络环境空时变化复杂以及各个节点的存储空间有限，雾无线接入网缓存技术面临各种各样的挑战，诸如，为使得节点的缓存命中率尽可能地高，应该在何时存放什么内容到本地节点。

传统的缓存策略诸如最近最少使用缓存策略、最近最不常用缓存策略以及这些算法的变体已经广泛应用于有线网络，然而，实时多媒体服务使得网络环境趋向复杂，单一的基于全局文件流行度的传统缓存策略不再适用于无线网络。目前的研究工作正在转向基于区域流行度和用户偏好的动态缓存策略的研究上。如果能从较为复杂的网络环境中，提取到有效信息并加以利用并预测下一时刻用户最有可能请求的文件，节点可以保证持续缓存热点内容，从而实现逼近理想缓存策略的缓存命中率，最大程度降低回传负载和通信时延。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种雾无线接入网中基于强化学习的边缘缓存方法，本发明动态地确定雾无线接入网中的节点的缓存决策，且通信开销少、总前传卸载量较高。

本发明所采用的技术方案是：一种雾无线接入网中基于强化学习的边缘缓存方法，包括以下步骤：

S1：根据全局文件流行度初始化节点的本地缓存动作向量a(0)，并随机初始化系统状态s(0)和权重向量w₀；

S2：在第t个时隙，记录上一时刻的缓存动作向量a(t-1)，当前时刻的缓存动作向量a(t)＝[a₁(t),...,a_f(t),...,a_F(t)]^T，其中a_f(t)＝1表示在第t个时隙第f个文件已缓存至本地，a_f(t)＝0表示在第t个时隙第f个文件未缓存至本地；

S3：本地节点各自计算周期内的内容流行度p(t)和收集自身覆盖区域用户偏好q(t)，并结合S2中记录的上一时刻缓存动作向量a(t-1)，确认当前的系统状态s(t)；

S4：在第t个时隙结束时刻，根据事先设定的贪婪选择中的贪婪因子∈_t，进行缓存动作向量的选择：

其中，为近似值函数，s(t)为系统状态，为缓存动作集合，w_t为权重向量；

S5：收集用户对各个文件的请求次数，计算得到即时回报函数r(t)，并以此计算即时误差函数

S6：更新权重向量w_t，并令t＝t+1，开始下一个时隙的缓存优化。

进一步的，所述S3具体包括以下步骤：

S3-1：收集在第t个时隙内的所有用户请求，以对第f个文件的内容为例子，d_f(t)为其被区域用户请求的总次数，则第f个文件的内容流行度：