[发明专利]一种缓存分片的配置方法、装置以及存储介质

说明书

本发明公开了一种缓存分片的配置方法，其通过在程序的每一个运行周期运行结束后，计算相邻的缓存分片的缓存缺失率之差，并在检测到相邻缓存分片的缓存缺失率之差的绝对值小于预设缓存缺失精度时，将缓存较大的缓存分片标记为无效，最后将所有被标记为无效的缓存分片从初始已配置好的缓存分片组中删除，得到新的缓存分片组，并将新的缓存分片组作为下一个运行周期的缓存分片组，其能对已经配置的缓存分片进行筛选，识别出无效的缓存分片，并对缓存分片进行调整，优化新周期的缓存分片的初始配置，可以有效减少对缓存空间的消耗，同时在一定程度上提升构造的MRC的准确度。本发明还相应提供一种缓存分片的配置装置以及计算机可读存储介质。

技术领域

本发明涉及计算机缓存体系技术领域，尤其涉及一种缓存分片的配置方法、装置以及计算机可读存储介质。

背景技术

基于效用的缓存分区技术(UTIL)管理共享缓存的基本思想是根据应用程序获得额外的缓存空间时带来的性能提升程度将缓存空间动态的分配给每个应用。其中对性能提升的评估通常使用缓存缺失率(MRC)来实现，MRC描述了工作负载在特定缓存容量下的缓存缺失情况。图1显示了UTIL的整体架构，该架构主要包含四个模块，分别是监视模块，分析模块，优化模块和分配模块。在程序的运行过程中，监控器连续从各个应用程序接收I/O请求，分析器根据每个应用程序的I/O请求构造对应的MRC，优化器根据每个应用程序的MRC制定分配策略以满足自定义的服务目标，分配器根据制定的分配策略执行缓存空间的再分配。在实际的程序运行过程中，UTIL将应用程序的的完整运行过程分为一系列周期以适应工作负载行为的变化，在每个周期结束时构建应用程序的MRC，并根据构建的MRC进行缓存空间的重新分配。在UTIL管理缓存空间的整个过程中，各个应用程序的MRC起着至关重要的作用，MRC反映了程序在任意可能的缓存容量下具有的缓存性能，其准确性决定了缓存分区策略制定的有效性和缓存分区的有效性。

为了充分发挥UTIL对共享缓存的高效管理，提升共享存储系统的访问性能，需要准确构造各个应用程序在运行过程中的MRC。但在实际生产中MRC的构造非常昂贵，其展示了应用在系统所能提供的所有可能缓存大小下的缓存缺失情况，因此对MRC的构建需要消耗大量的缓存资源和计算资源，在过去的很长一段时间内只能离线构造。此外，不同类型的缓存替换算法，构建MRC的方法不同，共享缓存系统很难在面对不同缓存替换算法时拥有灵活的扩展性和良好的适应性。对此，研究人员进行了广泛的研究。

为了支持任何缓存算法的建模，研究人员提出了一种微型模拟的技术，微型模拟提出对于给定的缓存大小，可以在一个将原缓存缩小的微型缓存上运行完整的、未修改的算法对基于空间哈希采样后的请求样本进行建模的方法。图2展示了微型模拟的原理，图中左边的Cache表示真实的缓存大小和真实的访问数据流reqs，图中箭头的大小表示了对访问流中的数据进行哈希计算后得到的不同哈希值的数量大小。传统的方式是使完整的访问流在真实的缓存上运行，得到数据在缓存中的访问情况，以进行相关的计算。图2中右边是使用微型模拟方法的结果，展示了将缓存大小和输入数据流缩小2倍和缩小128倍的例子。整体来说，微型模拟使用采样率R对大小为S的缓存建模，将缓存大小缩小到R×S并使用具有采样率R的基于哈希的空间过滤器采样访问流，使采样后的访问流在缩小的缓存上运行，获得数据在缓存中的访问情况，并计算缺失率作为真实缺失率的近似值。例如，对于应用程序A的一段访问流T，需要获取其在缓存大小为1GB时的缺失率，传统做法是将访问流T在1GB缓存上运行，获得缓存数据访问的信息，并计算缺失率。微型模拟则是同时以R的比例缩小访问流T和缓存大小，选择R＝0.01时，并采用空间哈希近似重用距离对访问流T进行采样，将采样后的数据在1GB×0.01大小的缓存上运行，以此模拟真实的缓存情况，并计算近似的缺失率。与传统的全尺寸模拟相比，微型模拟实现了空间和时间的大幅减少。