[发明专利]用于图形处理的线程组调度

权利要求书

1.一种装置，包括：

一个或多个处理器，所述一个或多个处理器包括一个或多个图形处理单元(GPU)；以及

多个高速缓存，用于为所述一个或多个GPU提供存储，所述多个高速缓存至少包括L1高速缓存和L3高速缓存；并且

其中，所述装置用于通过所述一个或多个GPU中的第一GPU的预取器提供对数据的智能预取，提供对数据的智能预取包括：

测量所述L1高速缓存的命中率，

在确定了所述L1高速缓存的命中率等于或大于阈值之际，限制向所述L3高速缓存中的存储的数据预取，以及

在确定了所述L1高速缓存的命中率小于阈值之际，允许向所述L1高速缓存的数据预取。

2.如权利要求1所述的装置，其中，所述装置进一步包括用于从所述一个或多个GPU的预取器接收预取指令的接口，并且其中，所述接口用于检测并消除不必要的预取。

3.如权利要求2所述的装置，其中，在所述接口检测到具有重复地址的两个或更多个预取之际，所述装置用于消除具有所述重复地址的预取中的一个或多个预取。

4.如权利要求2所述的装置，其中，在所述接口检测到与不可高速缓存的数据有关的预取之际，所述接口用于消除所述预取。

5.如权利要求1所述的装置，进一步包括所述一个或多个GPU的执行单元，所述执行单元包括硬件预处理器，所述硬件预处理器具有对核函数正在使用的IP地址的表的访问权。

6.如权利要求5所述的装置，其中，所述硬件预处理器用于在线程的执行之前开始从所述IP地址的表预取IP地址。

7.如权利要求1所述的装置，其中，所述一个或多个GPU中的GPU的预取器用于直接将指令预取到指令高速缓存(I-高速缓存)中。

8.如权利要求7所述的装置，其中，直接将所述指令预取到所述I-高速缓存中发生在应用驱动器知晓下一核函数之际，并且当开始当前核函数的执行时，所述预取针对所述下一核函数被发布。

9.如权利要求1所述的装置，其中，在计算操作在所述L3高速缓存外部操作之际，所述装置用于利用存储器链路来执行存储器刷洗以维持存储器带宽的活性。

10.一种或多种非暂态计算机可读存储介质，具有存储于其上的可执行计算机程序指令，所述可执行计算机程序指令在由一个或多个处理器执行时使所述一个或多个处理器执行包括以下各项的操作：

测量用于计算系统的一个或多个图形处理单元(GPU)中的第一GPU的L1高速缓存的命中率，所述计算系统进一步包括L3高速缓存；

接收针对所述第一GPU的数据预取；

在确定了所述L1高速缓存的命中率等于或大于阈值之际，限制向所述L3高速缓存中的存储的数据预取；以及

在确定了所述L1高速缓存的命中率小于所述阈值之际，允许向所述L1高速缓存的数据预取。

11.如权利要求10所述的一种或多种计算机可读存储介质，进一步包括用于检测并消除针对所述一个或多个GPU接收的不必要的预取的指令。

12.如权利要求11所述的一种或多种计算机可读存储介质，其中，检测并消除不必要的预取包括：检测具有重复地址的两个或更多个预取，并且消除具有所述重复地址的预取中的一个或多个预取。

13.如权利要求11所述的一种或多种计算机可读存储介质，其中，检测并消除不必要的预取包括：检测与不可高速缓存的数据有关的预取，并消除所述预取。

14.如权利要求10所述的一种或多种计算机可读存储介质，进一步包括用于以下操作的指令：在线程的执行之前，利用硬件预处理器从IP地址的表预取IP地址。