[发明专利]处理存储器请求

说明书

本发明涉及处理存储器请求。描述了转换器模块，该转换器模块对由高速缓存(例如，片上高速缓存)发出的存储器请求进行处理，其中这些存储器请求包括在虚拟存储器空间内定义的存储器地址。转换器模块接收这些请求、发出每个具有事务标识符的请求并使用该标识符来跟踪存储器请求的状态。转换器模块向存储器管理单元发送地址转换的请求，并且在转换在存储器管理单元中不可用的情况下从存储器管理单元接收另外的存储器请求。存储器请求经由总线被发到存储器，并且一旦从存储器接收到响应，则释放用于请求的事务标识符。当将存储器请求发到总线上时，从存储器管理单元接收的存储器请求可以优先于从高速缓存接收的存储器请求。

背景

为了减少与访问存储在主存储器中的数据相关联的延迟，处理器(诸如CPU或GPU)通常具有一个或多个高速缓存，如图1中的示例存储器层次结构100所示。通常存在两个级别的片上高速缓存L1 102和L2 104，其通常利用SRAM(静态随机存取存储器)来实现。高速缓存比主存储器108小，主存储器108可在DRAM(动态随机存取存储器)中实现，但访问高速缓存所涉及的延迟比针对主存储器的延迟短得多并且在层次结构内的较低级别(即，更接近处理器)处变得更短。由于延迟至少近似地与高速缓存的大小相关，因此较低级别的高速缓存(例如，L1)小于较高级别的高速缓存(例如，L2)。

当处理器访问数据项时，数据项从层次结构中的最低级被访问，其中该数据项是可获得的。例如，查找将在L1高速缓存102中执行并且如果数据在L1高速缓存中，则这被称为高速缓存命中并且数据可被加载到寄存器110中的一个中。然而，如果数据不在L1高速缓存(最低级别的高速缓存)中，则这是高速缓存缺失并且依次检查层次结构中的下一级别，直到发现数据(例如，在L1高速缓存缺失的情况下检查L2高速缓存104)。在高速缓存缺失的情况下，数据进入高速缓存(例如，L1高速缓存102)中，并且如果高速缓存已经是满的，则替换算法可用于决定哪个现有数据将被逐出(即，被删除)，以便可以存储新的数据。

如果数据项不在片上高速缓存的任一个中(例如，不在图1所示的层次结构中的L1高速缓存102或L2高速缓存104中)，则存储器请求被发到外部总线(其也可被称为互连结构)上，使得数据项可从层次结构中的下一级别(例如，主存储器108)中获得。

下面描述的实施方式仅作为示例被提供且不是解决管理对存储器的访问的已知方法的任何或所有缺点的实现的限制。

概述

这个概述被提供来以简化形式引入一些概念，其在以下详细描述中被进一步描述。这个概述并不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用来协助确定所要求保护的主题的范围。

描述了处理由高速缓存(例如，片上高速缓存)发出的存储器请求的转换器模块，其中这些存储器请求包括在虚拟存储器空间内定义的存储器地址。转换器模块接收这些请求、发出每个请求连同事务标识符并使用该标识符来跟踪存储器请求的状态。转换器模块向存储器管理单元发送地址转换的请求，并且在转换在存储器管理单元中不可用的情况下从存储器管理单元接收另外的存储器请求。存储器请求经由总线被发给存储器，并且一旦从存储器接收到响应，则释放用于请求的事务标识符。当将存储器请求发到总线上时，从存储器管理单元接收的存储器请求可优先于从高速缓存接收的存储器请求。

第一方面提供了一种模块，包括：分配模块，其被布置为从高速缓存接收存储器请求并将事务标识符分配给每个接收的存储器请求，其中从高速缓存接收的存储器请求包括在虚拟地址空间中定义的一个或多个存储器地址；事务跟踪器模块，其被布置为从分配模块接收存储器请求连同所分配的事务标识符、跟踪存储器请求的状态并从存储器管理单元接收转换信息，其中转换信息包括存储器请求中的虚拟存储器地址到物理存储器地址的转换或指向该转换的指针；以及仲裁器模块，其被布置为当存储器请求准备好发出时从事务跟踪器模块接收存储器请求连同所分配的事务标识符，并且经由外部总线将存储器请求发给存储器，并且响应于经由外部总线接收到来自存储器的响应，触发对所分配的事务标识符的释放，其中发给存储器的存储器请求包括使用转换信息确定的一个或多个物理存储器地址。