[发明专利]一种基于强化学习的边缘缓存方法、装置及电子设备

说明书

本发明实施例提供了一种基于强化学习的边缘缓存方法、装置及电子设备，所述方法包括：获取预设时间段内多个小小区中所有内容的请求次数及当前小小区的内容缓存情况；基于多个小小区中所有内容的请求次数，计算每一内容对应的第一内容流行度和第二内容流行度，得到内容流行度特征矩阵；利用预先训练好的基于强化学习算法构建的缓存策略模型，对内容流行度特征矩阵及当前小小区的内容缓存情况进行处理，得到在当前小小区中各内容的缓存策略；基于当前小小区中各内容的缓存策略，对当前小小区中的内容进行缓存。应用本发明实施例，能够提高小小区缓存内容的缓存命中率及缓存空间的利用率。

技术领域

本发明涉及无线通信技术领域，特别是涉及一种基于强化学习的边缘缓存方法、装置及电子设备。

背景技术

随着无线通信技术的快速发展，移动数据流量需求激增，密集小小区网络应运而生。密集小小区网络中，包含内容的分发与共享，该内容例如可以是视频文件、新闻、快讯等等。在用户需要请求内容时，用户向小小区基站发送内容请求，基站将内容请求转发至核心网，核心网将内容请求对应的业务数据下发至基站，基站再将内容请求对应的业务数据发送至用户。随着移动视频等业务需求量的不断增大，大量用户需要通过核心网对热门内容进行下载，导致需要向核心网下载的内容冗余性较大，增加了回程链路的拥塞概率，影响数据传输的时延。基于此，可以在非业务高峰期时，提前在小小区基站上缓存内容，以使得当用户请求内容、且所请求的内容在小小区基站已缓存时，小小区基站直接服务用户，不用再通过回程链路到核心网进行用户请求内容对应业务数据的下载，以减轻回程链路的压力、降低用户请求内容获取的时延。

现有非业务高峰期时在小小区基站上提前对内容进行缓存的方法为：进行内容缓存的小小区，获取小小区基站在预设时间段内所有内容的请求次数，该预设时间段可以为一周或一天等，计算每一内容在该时间段内的请求概率，其中，内容的请求概率为：该时间段内该内容的请求次数，与该时间段内所有内容的请求次数的比值，然后，按照请求概率的大小顺序对内容进行缓存，并当小小区基站的缓存空间不足时，使用请求概率较大对应的内容替换小小区基站已缓存的请求概率较小对应的内容。

然而，现有对内容进行缓存的方法，是基于小小区基站预设时间段内内容的请求概率实现的，以小小区基站预设时间段内内容的请求次数为依据，对内容进行缓存，使得小小区基站中所缓存的内容受设置的预设时间段影响较大。并且，实际应用中，用户需求的内容是变化的，使得所缓存的预设时间段内请求概率较大对应的内容，并不一定是用户所需的内容，导致缓存的内容可能不是用户选择命中率高的内容，造成缓存空间在一定程度上的浪费。

发明内容

本发明实施例的目的在于提供一种基于强化学习的边缘缓存方法、装置及电子设备，以提高小小区缓存内容的缓存命中率及缓存空间的利用率。具体技术方案如下：

第一方面，本发明实施例提供了一种基于强化学习的边缘缓存方法，所述方法包括：

获取预设时间段内多个小小区中所有内容的请求次数及当前小小区的内容缓存情况，其中，所述多个小小区包括当前小小区；

基于所述多个小小区中所有内容的请求次数，计算每一内容对应的第一内容流行度和第二内容流行度，得到内容流行度特征矩阵；其中，所述内容流行度特征矩阵包含：第一内容流行度特征向量以及第二内容流行度特征向量，所述第一内容流行度表示对应内容在所述多个小小区中的内容流行度，所述第二内容流行度表示对应内容在当前小小区中的内容流行度，所述第一内容流行度特征向量由各内容的第一内容流行度构成，所述第二内容流行度特征向量由各内容的第二内容流行度构成；

利用预先训练好的基于强化学习算法构建的缓存策略模型，对所述内容流行度特征矩阵及当前小小区的内容缓存情况进行处理，得到在当前小小区中各内容的缓存策略；其中，所述缓存策略包含：缓存和不缓存，所述基于强化学习算法构建的缓存策略模型是根据样本内容流行度特征矩阵、样本内容对应的内容缓存情况以及样本内容对应的动作向量训练得到的，所述样本内容对应的动作向量表示当前时刻各内容的缓存策略的真值；