[发明专利]数据存储方法、装置、设备及介质

说明书

本发明实施例涉及一种数据存储方法、装置、设备及介质，该数据存储方法包括：从查询日志中获取在上一计算周期内的数据集的查询信息；根据所述数据集的查询信息计算所述数据集的查询优先值；根据所述数据集的查询优先值由高到低的顺序将数据集依次存储至不同级别缓存。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据存储方法、装置、设备及介质。

背景技术

随着互联网技术的发展，在访问大量数据时需要对经常读取的数据预先存储在缓存结构(Cache)中，以避免直接从硬盘读取而耗费大量时间，以商业智能(BusinessIntelligence，简称BI)领域为例，在访问某些数据或数据集用于分析时，会对经常被读取的数据或数据集进行缓存，但是缓存的大小是有限，因此需要对缓存进行管理。

在实现本发明构思的过程中，发明人发现相关技术中至少存在如下技术问题：已有的缓存管理方案中，例如较为通用的先进先出、最近最久未使用的方案，在具体应用到真实场景时效果差、效率低，难以根据实际需求将最需要缓存的数据预先存储在缓存中，存在无法针对具体应用场景进行自适应优化的问题。

发明内容

第一方面，本发明的实施例提供了一种数据存储方法，上述方法包括：从查询日志中获取作为在上一计算周期内的查询操作对象的数据集的查询信息，上述计算周期是相邻两次计算数据集的查询优先值之间的时间间隔；根据上述数据集的查询信息计算上述数据集的查询优先值；根据上述数据集的查询优先值由高到低的顺序将数据集依次存储至不同级别的缓存。

根据本发明的实施例，上述查询信息包括执行查询操作的查询指令、通过各查询指令查询的数据集和上述数据集的查询耗时。

根据本发明的实施例，上述根据上述数据集的查询信息计算上述数据集的查询优先值，包括：对于每个数据集，计算在上一计算周期内对该数据集执行的各次查询操作对应的查询耗时的加权求和。

根据本发明的实施例，上述对于每个数据集，计算在上一计算周期内对该数据集执行的各次查询操作对应的查询耗时的加权求和，包括：对于每个数据集，获取该数据集对应的预设权重p，根据计算该数据集的查询优先值S_D，t_k表示当前计算周期内第k次查询该数据集的耗时，k≥0且k为整数。

根据本发明的实施例，上述根据上述数据集的查询信息计算上述数据集的查询优先值，包括：获取各数据集的容量信息；对于每个数据集，计算在上一计算周期内对该数据集执行的各次查询操作对应的查询耗时之和与该数据集的容量的比值。

根据本发明的实施例，上述对于每个数据集，计算在上一计算周期内对该数据集执行的各次查询操作对应的查询耗时之和与该数据集的容量的比值，包括：对于每个数据集，获取该数据集D_m对应的预设权重a_m和预设偏置b_m，根据计算该数据集的查询优先值S_m，V_m表示该数据集的容量，t_k表示当前计算周期内第k次查询该数据集的耗时，k≥0且k为整数。

根据本发明的实施例，上述预设权重a_m和预设偏置b_m根据数据集所对应的业务的存储优先级来设置。

根据本发明的实施例，上述预设权重a_m和预设偏置b_m根据不同数据集来设置。

根据本发明的实施例，在根据上述数据集的查询优先值由高到低的顺序将数据集依次存储至不同级别的缓存之后，上述方法还包括：接收用户的查询指令，上述查询指令包括当前计算周期内的查询操作和各查询操作对应的待查询的数据集信息；基于上述待查询的数据集信息，优先在上述不同级别的缓存中进行查询。

根据本发明的实施例，上述方法还包括：获取当前计算周期内的查询日志，用于为下一次计算数据集的查询优先值提供查询信息。