[发明专利]一种基于神经网络的热点数据的预测方法及系统

说明书

技术领域

本发明涉及数据存储技术领域，更具体的，涉及一种基于神经网络的热点数据的预测方法及系统。

背景技术

在现代存储系统中缓存加载和热点数据统计都具有滞后性，一般都是数据被访问一次或者多次之后才会被加载到缓存，才会知道这是数据热点，才会进行被加速加载，影响了系统的整体性能和用户体验。

另外有一些老热点数据迟迟不释放缓存，这些老热点数据由于在过去的时间段经常被访问所以被加载到缓存，但在当前和未来时间段，这些老热点数据不再经常被访问但是仍然存储在缓存中，导致缓存拥挤，新的热点数据无法加入到缓存，影响系统性能的提升。

发明内容

有鉴于此，本发明提供了一种基于神经网络的热点数据的预测方法及装置，基于多层神经网络模型预设下一时间的热点数据，提升了系统性能和用户的使用体验。

为了实现上述发明目的，本发明提供的具体的技术方案如下：

一种基于神经网络的热点数据的预测方法，包括：

获取监督数据集，所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据；

以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；

对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。

优选的，在所述依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据之后，所述方法还包括：

根据所述目标多层神经网络模型的预测结果，依次判断每个下一预设时间单位的热点数据是否已加载到缓存；

若否，将下一预设时间单位未加载到缓存的热点数据加载到缓存。

优选的，在所述依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据之后，所述方法还包括：

根据所述目标多层神经网络模型的预测结果，依次判断缓存中的数据是否为下一预设时间单位的热点数据；

若否，对缓存中不是下一预设时间单位的数据进行卸载。

优选的，所述获取监督数据集，包括：

在所述预设时间段内，分别获取每个所述预设时间单位内用户访问数据在所述存储系统中的位置和访问频次；

根据每个所述预设时间单位内的数据位置和访问频次，生成监督数据集。

优选的，所述对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据，包括：

按照遍历顺序，依次将存储系统当前存储的每个数据的时间参数和位置参数输入所述目标多层神经网络模型，每个所述数据的时间参数为下一预设时间单位，每个所述数据的位置参数为在所述存储系统中的相应位置；

获取与每个所述数据相对应的所述目标多层神经网络模型的输出结果，所述输出结果为访问或未访问，当输出结果为访问时，相应的所述数据为热点数据。

一种基于神经网络的热点数据的预测系统，包括：

获取单元，用于获取监督数据集，所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据；

训练单元，用于以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；

预测单元，用于对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。

优选的，所述系统还包括：

第一判断单元，用于根据所述目标多层神经网络模型的预测结果，依次判断每个下一预设时间单位的热点数据是否已加载到缓存；若否，将下一预设时间单位未加载到缓存的热点数据加载到缓存。

优选的，所述系统还包括：

第二判断单元，用于根据所述目标多层神经网络模型的预测结果，依次判断缓存中的数据是否为下一预设时间单位的热点数据；

若否，对缓存中不是下一预设时间单位的数据进行卸载。

优选的，所述获取单元包括：

第一获取子单元，用于在所述预设时间段内，分别获取每个所述预设时间单位内用户访问数据在所述存储系统中的位置和访问频次；

生成子单元，用于根据每个所述预设时间单位内的数据位置和访问频次，生成监督数据集。

优选的，所述预测单元包括：