[发明专利]多GPU环境中的存储器预取

权利要求书

1. 一种设备，包括：

多个处理器，所述多个处理器包括用于处理数据的主机处理器和多个图形处理单元（GPU），所述多个GPU中的每一个GPU包括预取器和高速缓存；以及

用于存储数据的存储器，所述存储器包括多个存储器元件；

其中，所述多个GPU中的每一个GPU的所述预取器要将数据从所述存储器预取到相应GPU的所述高速缓存；以及

其中，所述多个GPU中的GPU的所述预取器被禁止从所述GPU或所述主机处理器不拥有的页预取。

2.根据权利要求1所述的设备，其中，所述存储器包括统一虚拟存储器。

3.根据权利要求1所述的设备，其中，在到达页的边界时停止所述多个GPU中的GPU的预取器对所述页的预取。

4.根据权利要求1所述的设备，其中，在到达存储器表面的边界时停止所述多个GPU中的GPU的预取器对页的预取。

5.根据权利要求1所述的设备，其中，来自所述多个GPU中的GPU的预取器的预取指令是包括多个预取地址的聚集/分散预取消息。

6.根据权利要求5所述的设备，其中，所述设备将解析所述聚集/分散预取消息并针对所述多个预取地址中的每个预取地址发出预取消息。

7.根据权利要求5所述的设备，其中，所述聚集/分散预取消息还包括针对所述多个地址中的每一个地址的条目以指示用于预取的高速缓存级别。

8.根据权利要求1所述的设备，其中，所述多个GPU中的GPU的预取器将在针对所述GPU的核中的线程的预取完成时向所述线程发送标志。

9. 一个或多个非暂时性计算机可读存储介质，所述一个或多个非暂时性计算机可读存储介质具有存储在其上的可执行计算机程序指令，所述可执行计算机程序指令当由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：

由第一图形处理单元（GPU）的预取器生成预取指令，所述第一GPU是计算系统中的多个GPU中的一个GPU，所述预取指令被引导到包括多个存储器元件的存储器；以及

将预取的数据高速缓存在所述第一GPU的高速缓存中；

其中，所述第一GPU的所述预取器被禁止从所述第一GPU或所述计算系统的主机处理器不拥有的页预取。

10.根据权利要求9所述的一个或多个计算机可读存储介质，其中，所述存储器包括统一虚拟存储器。

11.根据权利要求9所述的一个或多个计算机可读存储介质，其中，所述指令还包括用于在到达页的边界时停止所述第一GPU的所述预取器对所述页的预取的指令。

12.根据权利要求9所述的一个或多个计算机可读存储介质，其中，所述指令还包括用于在到达存储器表面的边界时停止所述第一GPU的所述预取器对页的预取的指令。

13.根据权利要求9所述的一个或多个计算机可读存储介质，其中，来自所述第一GPU的所述预取器的预取指令是包括多个预取地址的聚集/分散预取消息。

14.根据权利要求13所述的一个或多个计算机可读存储介质，其中，所述指令还包括用于解析所述聚集/分散预取消息并针对所述多个预取地址中的每一个预取地址发出预取消息的指令。

15.根据权利要求13所述的一个或多个计算机可读存储介质，其中，所述聚集/分散预取消息还包括针对所述多个地址中的每一个地址的条目以指示用于预取的高速缓存级别。