[发明专利]一种基于数据资源转化效率模型的缓存方法

说明书

本发明公开了一种基于数据资源转化效率模型的缓存方法，针对计算机存储领域的缓存策略问题。数据缓存的本质可以视作为动态I/O数据流的热数据识别问题，传统缓存策略方案大多仅考虑数据流中所反映的新进度和频率指标来确定热数据，然而热数据的判断不能仅仅只依靠这些指标，因为随着对负载认识的加深，一定会有例如重用距离特征等其它更精确和适合指标出现，同时负载是变化的，而新进度和频率指标反映的更多的一种宏观的规律，在具体的数据流时间段中，这种判断方法不一定正确。因此针对这一问题，本方法从数据的资源转效率的角度来定义和解决热数据识别的问题，并提出一种基于数据资源转化效率模型的缓存方法，以提升现有算法的性能。

技术领域

本发明涉及存储系统技术领域，具体涉及一种基于数据资源转化效率模型的缓存方法。

背景技术

随着数据总量的不断增长以及新型存储材质的研发，计算机的存储材质和存储架构也在不断地发生着变化。例如基于闪存的固态硬盘，在现在的计算机存储架构中非常常见的作为替代HDD普通硬盘的存储介质或者计算机内存和磁盘设备的缓存介质，又例如新型非易失存储材质如3D Xpoint，NVDIMM，STT-MRAM的出现，在现在的计算机存储架构中已经设计成为替代内存DRAM存储介质或者与内存DRAM相结合来提高内存性能的选择。

在现有的计算机系统架构中，将不同热度的数据放在不同类型的存储介质中，一直是计算机存储系统中一种经济且高效的存储方式。然而现在的缓存方法的设计大多是基于局部性和数据的访问频率来进行设计，而这在目前的大规模动态I/O数据流背景或环境下，对热点数据的识别能力和不同类型热数据的分类力度是不够的，因为新进度和频率指标反映的是一种宏观统计的规律，但是在具体的I/O数据流时间段中则不一定正确或适用，也因此无法更精确地识别和处理热点数据。

通过研究目前缓存和闪存的数据缓存算法，发现这些算法首先数据的设计指标主要还是新进度和数据访问频率，对其它更细粒度的数据特征指标如重用距离特征指标的考虑还比较少，另外这些算法的主要缺点仍然是因为无法精细化地识别和处理热点数据，而导致缓存污染问题的存在，当然还存在算法不具备有动态性和无法捕捉大于缓存的热数据等问题。

因此如何在目前大规模的I/O数据流环境中，在保证尽量小的系统内存开销和计算开销的前提下，快速及时高效地识别出这其中的热点数据是目前研究中的一个非常重要的问题。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于数据资源转化效率模型的缓存方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于数据资源转化效率模型的缓存方法，该缓存方法将缓存区域划分为新数据区域N、短重用距离热数据区域S、长重用距离热数据区域L和数据临时放置区域T，缓存区域中数据块类型分为贮存数据块R和元数据历史块H，其中，所述的贮存数据块R用于真实数据块信息，所述的元数据历史块H用于存储记载真实数据块的地址的元数据信息；同时，所述的短重用距离热数据区域S中贮存数据块按照数据的重用距离特征分为短重用距离贮存数据块SR和长重用距离贮存数据块LR；所述的新数据区域N存储的数据块类型仅有贮存数据块R，其存储的是新访问的数据块；所述的短重用距离热数据区域S存储的数据块类型有短重用距离贮存数据块SR、长重用距离贮存数据块LR和元数据块历史块H；所述的长重用距离热数据区域L存储的数据块类型有贮存数据块R和元数据历史块H；数据临时放置区域T存储的数据块类型仅有贮存数据块R；

该缓存方法针对负载数据流中不同类型数据进行缓存分配的步骤如下：

S1、当缓存满时，对于负载数据流中的每一个读请求或者写请求，有且仅有以下五种情况发生：A.新数据区域N中数据栈命中；B.短重用距离热数据区域S中数据栈命中；C.长重用距离热数据区域L中数据栈命中；D.数据临时放置区域T中数据栈命中；E.缓存未命中，针对以上情况，当满足A时，则执行步骤S2；当满足B时，则执行步骤S3；当满足C时，则执行步骤S4；当满足D时，则执行步骤S5；当满足E时，则执行步骤S6；