[发明专利]一种基于机器学习的缓存预测调度方法、系统及介质

说明书

本发明提供了一种基于机器学习的缓存预测调度方法、系统及介质，包括：步骤1：收集用户的查询数据作为样本数据，持续进行监督学习，并输出缓存预测曲线；步骤2：根据上述缓存预测曲线，按照权重，把实时处理中的待缓存数据预先缓存到内存中，并根据内存容量，按权重进行置换；步骤3：当获取到用户执行的首次查询操作，先至预缓存的数据中查询，同时将查询的条件加入到机器学习过程作为元数据；步骤4：在查询的条件在预缓存中命中的情况下，直接输出结果，同时结果反馈到机器学习过程。本发明具有在用户查询之前生成缓存数据，让首次查询命中缓存，提高首次查询速度的效果。

技术领域

本发明涉及机器学习的技术领域，具体地，涉及一种基于机器学习的缓存预测调度方法、系统及介质。

背景技术

现有查询方式通常查询数据库或者查询文件，由于数据查询速度或者文件IO处理速度远低于CPU执行速度，因此查询速度很慢，一般是秒级的，在很多实时(ms级)场合下，达不到的要求。

一种改进的方案是基于缓存的查询。这种方法通过在第一次查询之后，将数据缓存在内存中，使得之后该数据的查询可以直接在内存中进行，从而有效提高了之后查询的效率，但是这种方式的首次查询无法使用缓存提高查询效率。

通常的缓存调度算法有RAND(随机算法)、FIFO(先进先出算法)，LFU(近期最少使用算法)，LRU(最久没有使用算法)和OPT(最优替换算发)等。其中RAND和FIFO只是简单调度，命中率低。LFU和LRU是利用了计算的局部性(最近使用过的数据还会被使用)，相比于RAND和FIFO提高了命中率，但没有考虑周期性系统的处理规律，还有进一步提升空间。而OPT是需要将程序运行一遍，然后获得调度依据，仅仅适合代码缓存和小规模程序，而真实世界主要是数据缓存和大规模系统。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于机器学习的缓存预测调度方法、系统及介质。

根据本发明提供的一种基于机器学习的缓存预测调度方法，包括：

步骤1：收集用户的查询数据作为样本数据，持续进行监督学习，并输出缓存预测曲线；

步骤2：根据上述缓存预测曲线，按照权重，把实时处理中的待缓存数据预先缓存到内存中，并根据内存容量，按权重进行置换；

步骤3：当获取到用户执行的首次查询操作，先至预缓存的数据中查询，同时将查询的条件加入到机器学习过程作为元数据；

步骤4：在查询的条件在预缓存中命中的情况下，直接输出结果，同时结果反馈到机器学习过程。

优选地，所述步骤1包括：

步骤1.1：将训练数据以及加入的查询数据作为机器学习的输入，输入到机器学习网络中；

步骤1.2：机器学习网络计算出预测结果，预测结果为以权重表示的待缓存数据需要预缓存的预测；

步骤1.3：预测结果存入缓存输出下一个周期的缓存权重曲线。

优选地，所述步骤2包括：

步骤2.1：查看内存是否有足够的缓存空间；

步骤2.2：若有足够的缓存空间则插入待缓存数据到缓存；若有足够的缓存空间，则先查询权重表，根据权重做下一步判断；

步骤2.3：在待缓存的数据权重低于预设值的情况下，则丢弃待缓存数据；在待缓存的数据权重不低于预设值的情况下，则清除已有缓存中最低权重的缓存，然后重复步骤2.1。

优选地，机器学习网络计算出预测结果，值越大表示预测需要缓存可能性越大，或者使用值越小表示预测需要缓存可能性越大的语义。

本发明还提供一种基于机器学习的缓存预测调度系统，包括