[发明专利]一种两级缓存的资源分配方法、系统、存储介质及计算设备

说明书

本发明公开了一种两级缓存的资源分配方法、系统、存储介质及计算设备，读取历史访问信息，模拟缓存计算栈距离，根据栈距离构建MRC曲线，构建MRC曲线；在构建的MRC曲线中定位缓存性能悬崖；根据确定的缓存性能悬崖对DRAM‑SSD组成的两级缓存进行划分，将整体缓存容量分为N个缓存区间，给出每个区间的容量和对应的存储介质，实现资源分配。本发明能够利用缓存性能悬崖现象，打破传统的两级缓存架构，将缓存按照业务MRC分配为N个缓存区间，以降低缓存层的整体延迟。

技术领域

本发明属于计算机缓存技术领域，具体涉及一种两级缓存的资源分配方法、系统、存储介质及计算设备。

背景技术

云存储环境中，缓存是存储体系中的重要一环，其通常由成本高，速度快的介质组成，利用工作负载的局部性减少访问延迟。多个用户共享统一的缓存空间。

随着业务数据量的增长，缓存体系的容量需求和性能需求都在不断增长。单一的缓存很难满足要求，由多种介质构建的多级缓存成为主流。外部存储的多级缓存架构与CPU内部的L₁,L₂,L₃构成的cache有相似之处，高速介质位于顶层，低速设备位于底层，数据从高到低向下流动。存储体系中每种缓存设备都有不同的延迟、吞吐量、价格和容量特征。存储体系中依据这些特性，在不同的场合中使用更具有针对性的存储介质。缓存资源的合理分配是发挥缓存性能的关键。然而缓存分配是NP难的问题，出于不同性能目标的考量会有不同的分配方式，多种分配方式之间甚至存在互斥的可能。

性能悬崖是缓存系统中与业务相关的一种现象，表现为在某些容量区域内，缓存性能随容量的微小变化而急剧改变。性能悬崖体现了缓存命中率随缓存容量的不均匀变化。本发明合理利用这种不均匀性，能够在不增加缓存成本的同时，显著提高缓存系统的整体性。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种两级缓存的资源分配方法、系统、存储介质及计算设备，通过缓存性能进行分析，定位出缓存的性能悬崖区域，在不改变各层次缓存容量的情况下，提出一种兼容性能悬崖的缓存资源分配方式，改变缓存的层次结构，提升整体缓存系统的性能。

本发明采用以下技术方案：

一种两级缓存的资源分配方法，包括以下步骤：

S1、读取历史访问信息，模拟缓存计算栈距离，根据栈距离构建MRC曲线；

S2、在构建的MRC曲线中定位缓存性能悬崖；

S3、根据确定的缓存性能悬崖对DRAM-SSD组成的两级缓存进行划分，将整体缓存容量分为N个缓存区间，给出每个区间的容量和对应的存储介质，实现资源分配。

具体的，步骤S1中，根据每个容量下的缓存失效率构建MRC曲线如下：

其中，num_i表示栈距离为i的请求数量，n_i表示S_i对应的栈距离阈值值，total_request表示整体请求数量。

具体的，步骤S1中，读取历史访问信息具体为：使用采样的方式对历史访问信息进行抽取，每次仅重放被抽取的请求，使用固定的采样率对请求进行抽取，抽取满足hash(L_i)mod PR*P的请求，P为固定阈值，R为采样率，L_i为第i个请求位置；对于每个请求位置L_i，如果当前的空间消耗|S|≤S_max，且T_iT_max时，采样请求L_i；将L_i,T_i插入到优先级队列D中，每处理完一个请求后，计算当前的空间消耗|S|；如果|S|S_max，从D中删除T值最大的元组，并将T_max设置为被删除元组中的T。