[发明专利]一种自适应分类重用距离来捕捉热数据的缓存方法

说明书

本发明公开了一种自适应分类重用距离来捕捉热数据的缓存方法，针对计算机存储领域的缓存策略问题。由于传统的缓存策略方案大多仅考虑数据所反映的新进度(Recency)或频率这两个特性，无法更深层次地捕捉到数据访问所反映的模式特征，加之算法本身不具备有针对捕捉到的数据特征变化而做出自适应调节的能力，因此可能导致了策略的数据命中率和稳定性不高的现象。针对这一问题，本缓存方法通过利用数据的重用距离特征和缓存替换的元数据历史信息来深度挖掘数据访问模式的特征，并以一种自适应的方式处理这种热数据识别和缓存时间分配的过程，从而达到提升算法命中率的目的。

技术领域

本发明涉及存储系统技术领域，具体涉及一种自适应分类重用距离(Reuse-distance)来捕捉热数据的缓存方法。

背景技术

缓存技术不仅仅局限于高速缓存，自现代计算机系统提出存储器层次结构以后，CPU寄存器集合、高速缓存、主存、SSD和HDD存储设备，甚至分布式文件系统等远程二级存储设备，都可以理解为是作为下一层的更大更慢的存储设备的缓存而存在，因此凡是存储设备自身都存在着缓存问题。而缓存替换算法作为缓存技术研究的核心部分，它的研究与计算机存储系统、操作系统、文件系统、数据库、web服务器、甚至包括各种其它应用技术如冷热数据识别和数据压缩等问题的研究有着直接相关的联系。

传统的缓存替换算法的设计原理主要是利用了高速缓存的局部性原理(即是程序具有访问局部区域里的数据和代码的趋势)和数据访问的频率。然而仅仅利用数据所反映的新进度或频率这两个特性来设计的算法，如LRU、LFU、2Q和MQ算法等，虽然具有简单易实现、应用广泛等特点，但是首先仅仅考虑新进度或频率这两个指标无法全面反映数据访问的模式特征；其次数据访问的模式是动态的，因此算法不具备有针对捕捉到的数据特征变化而做出自适应调节的能力；最后上述所提出的针对这两个特性的算法改进方法已经趋向于成熟(LRU算法在80年代初开始已经被广泛使用)，因此很难有比较大的突破。

因此现在比较优秀的缓存替换算法如LIRS、ARC和CAR算法等，如LIRS算法会通过利用数据的重用距离特征来预测数据未来的访问顺序；ARC算法则具备有自适应性，算法能根据数据访问模式的变化对算法做自身的调整等。然而尽管这些优秀的算法存在诸多的优点，但是也会存在有例如不能捕捉大于缓存的热数据和缓存污染等问题。

因此针对目前的大规模I/O数据流环境，在降低存储系统内存开销和计算开销的条件下，如何改变传统缓存技术的所产生的数据命中率不高问题，设计一种新颖的有效识别热数据的缓存方案来提高计算机存储性能则显得尤为重要。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种自适应分类重用距离来捕捉热数据的缓存方法。

本发明的目的可以通过采取如下技术方案达到：

一种自适应分类重用距离来捕捉热数据的缓存方法，所述的缓存方法包括缓存区域划分、负载数据流数据类型识别及不同类型数据的缓存分配，其中：

所述的缓存区域划分具体如下：

(a)整个缓存具有实际缓存栈(Real Cache)和幽灵缓存栈(Ghost Cache)两种类型的缓存栈，实际缓存栈存储真实数据和元数据，幽灵缓存栈则仅仅存储元数据，并且实际缓存栈的数据结构为LRU(Least recently used)栈结构，而幽灵缓存栈则是先进先出的队列结构；

(b)整个缓存依据新进度(Recency)、频率和重用距离特征，分为三个区域：潜在热数据区域R、短重用距离热数据区域S、长重用距离热数据区域L；