[发明专利]一种CPU-GPU异构平台共享末级缓存管理方法、架构及装置

说明书

本发明公开了一种CPU‑GPU异构平台共享末级缓存管理方法、架构及装置，该方法包括：检测CPU‑GPU异构平台运行信息，所述运行信息包括每个运算核的LLC块利用率和每个LLC组的未命中信息；采用分区算法根据运算核的LLC块利用率得到运算核的初始LLC块插入位置；根据初始LLC块插入位置和LLC组的未命中信息执行LLC块的插入和提升算法，进行CPU‑GPU异构平台共享末级缓存管理。能够感知LLC使用的时间局部性和在不同LLC组之间的空间局部性，动态调整不同运算核之间对于LLC的资源调配，有效解决了CPU‑GPU共享LLC的管理问题，提高CPU‑GPU异构多处理器片上系统的运行效率。

技术领域

本发明属于CPU-GPU异构LLC管理的技术领域，涉及一种CPU-GPU异构平台共享末级缓存管理方法、架构及装置，尤其是涉及一种基于组变化感知的CPU-GPU异构平台共享末级缓存管理方法、架构及装置。

背景技术

HMPSoC(Heterogeneous multiprocessor systems-on-chip，异构多处理器片上系统)已经成为高性能嵌入式系统的主流，可以被用来处理诸如视频或者深度学习等计算密集型应用。所以运算核之间的资源管理就成为类似架构的关键问题。而LLC则是处理器和内存之间的桥梁。单个核上所采用的LRU(Least Recently Used，最近最少使用)替换策略虽然拥有较好的性能，但是研究发现，多核系统上根据应用对于内存的访问，动态地将共享LLC资源分配给不同的核能够提供更高的性能。

但是，现有的这些研究都是基于相同类型的处理器，这些策略在CPU-GPU HMPSoC并不一定提供较高的性能。因为CPU-GPU HMPSoC有两个特点：

第一，由于GPU大量的并行计算需求，很多LLC资源都被GPU占据，导致CPU的性能显著降低；

第二，GPU通过快速线程切换可以隐藏访存的延迟。因此不同于性能依赖于LLC命中率的CPU程序，GPU应用可以被分为cache敏感型和cache不敏感型，这些因素也要在LLC管理策略中考虑。除此之外有研究发现就算是cache不敏感型的GPU程序，不停地访存也会对系统性能造成一定影响。

此外，现有的LLC管理策略都趋向于给CPU和GPU分配相同的LLC块或者给予相同的优先级。但是通过实验发现在相同的指令数量下CPU和GPU访存有明显的不同，因此分配给其相同的LLC块或者相同的优先级使得性能难以提高。

对于同种多处理器平台，有的研究提出了基于LLC利用率的LLC块分区方法；对于GPU的LLC管理有人提出将线程调度与LLC紧密结合的算法来减少cache污染；而对于CPU-GPU多核架构，有的研究提出了CPU-GPU的LLC访问一致性协议，有的研究针对共享LLC管理提出了插入方式TAP-RRIP和分区方式TAP-UCP来在CPU和GPU之间分配共享LLC，为了进一步减少CPU-GPU之间LLC的干扰提出了HeLM方法。然而，现有针对CPU-GPU多核架构的管理策略效率较低。

综上所述，针对现有技术中如何进一步提高CPU-GPU异构的LLC管理策略效率、科学高效地实现CPU-GPU异构下的LLC管理的问题，尚缺乏有效的解决方案。

发明内容

针对现有技术中存在的不足，解决现有技术中如何进一步提高CPU-GPU异构的LLC管理策略效率、科学高效地实现CPU-GPU异构下的LLC管理的问题，本发明提供了一种CPU-GPU异构平台共享末级缓存管理方法、架构及装置，基于组变化感知的LLC管理策略应用于CPU-GPU异构多处理器片上系统，能够感知LLC使用的时间局部性和在不同LLC组之间的空间局部性，动态调整不同运算核之间对于LLC的资源调配，有效解决了CPU-GPU共享LLC的管理问题，提高CPU-GPU异构多处理器片上系统的运行效率。

本发明的第一目的是提供一种CPU-GPU异构平台共享末级缓存管理方法。

为了实现上述目的，本发明采用如下一种技术方案：