[发明专利]一种面向高性能的适应预取的智能缓存替换策略

说明书

本发明公开一种面向高性能的适应预取的智能缓存替换策略，在存在硬件预取器的情况下，区分预取和需求请求，利用基于ISVM(Integer Support Vector Machines)的预取预测器对预取访问加载的缓存行进行重引用间隔预测，利用基于ISVM的需求预测器对需求访问加载的缓存行进行重引用间隔预测。输入当前访存的load指令的PC地址和访存历史记录中过去load指令的PC地址，针对预取和需求请求设计不同的ISVM预测器，以请求类型为粒度对加载的缓存行进行重用预测，改善存在预取时缓存行重用预测的准确度，更好的融合了硬件预取和缓存替换带来的性能提升。

技术领域

本发明属于计算机体系缓存系统结构领域，具体涉及一种面向高性能的适应预取的智能缓存替换策略。

背景技术

计算机内存的性能提升速度远远落后于处理器性能提升的速度，形成了阻碍处理器性能提升的“存储墙”，从而使得内存系统成为整个计算机系统的性能瓶颈之一。末级缓存(LLC)缓解了CPU和DRAM之间的延迟和带宽方面的巨大差异，改善处理器的内存子系统是缓解“存储墙”问题的关键。一种方法依赖于设计合理的高速缓存替换策略来有效地管理片上末级高速缓存，这些方法通过动态修改高速缓存插入，以对数据的重用性和重要性进行优先级排序，从而减少插入缓存行对LLC的干扰。另一种缓解“存储墙”问题的主流方法是使用硬件预取器，在实际引用之前将数据预取到缓存层次结构中，尽管预取可以隐藏内存延迟并显着提高性能，但是错误的预取会造成缓存污染，可能会严重降低处理器性能。

随着处理器核数的增加以及工作负载多样性和复杂性的增加，CPU处理器上的替换策略已经从越来越复杂的基于启发式的解决方案发展到基于学习的解决方案。基于学习的缓存替换策略是从过去的缓存行为中学习数据的重用性，以预测未来缓存行插入的优先级。例如，某个load指令在过去引入了产生缓存命中的缓存行，那么将来同一load指令很可能引入也将产生缓存命中的缓存行。

缓存替换策略通过预测高速缓存行的重引用间隔(Re-Reference PredictionValue，RRPV)来模拟最佳替换决策，重用间隔表示缓存行的相对重要性，重用间隔小的缓存行表示即将被重用，因此以高优先级在缓存中插入该行，保证该行可以保留在缓存中。重用间隔大的缓存行则以低优先级插入，保证尽快被驱逐。基于学习的缓存替换策略中，常见的是基于引起缓存访问的内存指令的程序计数器(Program Counter,PC)预测缓存行的重用间隔，如果来自同一个PC的大多数缓存访问具有相似的重用行为，则基于PC可以准确预测缓存行的重用间隔。例如，SHiP提出了一种基于PC的重用预测算法，以预测高速缓存的重用行为并使用该预测来指导高速缓存的插入位置。Hawkeye根据过去的缓存访问来重建Belady-MIN算法，训练一个基于PC的预测器，从MIN算法对过去的内存访问进行的决策中学习，然后Hawkeye根据预测器所学的内容做出替换决策。

Zhan等人将缓存替换建模为序列标签问题，并采用长短时记忆网络模型(LongShort Term Memory，LSTM)训练离线预测器，由于输入长期的过去load指令的历史记录，提高了预测的准确率。进一步提出了在线缓存替换策略Glider，在硬件上设计了可以紧凑地表示程序长期的load指令历史记录的特征，输入到在线ISVM，硬件上使用ISVM表跟踪每个PC的ISVM的权重。基于ISVM的在线预测器提供的准确性和性能优于前沿的缓存替换策略中使用的预测器。然而上述的研究没有考虑存在预取器的情况，存在预取时，由于没有区分预取和需求请求，导致预测的准确率下降，预取造成的缓存污染也会干扰缓存空间的管理，降低内存子系统性能。从缓存管理的角度来看，预取请求具有与需求请求不同的属性，通常由需求请求插入LLC的缓存行比预取请求对程序的性能更重要。

本发明提出了一种适应预取的智能缓存替换策略，以请求类型为粒度对加载的缓存行进行重用预测，输入当前访存的load指令的PC地址和访存历史记录中过去load指令的PC地址，针对预取和需求请求设计不同的ISVM预测器，改善存在预取时缓存行重用预测的准确度，更好的融合硬件预取和缓存替换带来的性能提升。

发明内容