[发明专利]图形处理单元处的流水线矩阵乘法

说明书

图形处理单元(GPU)[100]在所述GPU的CU的不同子集[110、111、112、113]处调度循环矩阵乘法运算。所述GPU包括调度器[104]，所述调度器接收循环矩阵乘法运算[103、114]的集，例如与循环神经网络(RNN)相关联的乘法运算。与例如RNN层相关联的多个运算被融合到单个内核中，所述内核由所述调度器调度，以便为每个计算单元分配一个工作组，从而将所述循环矩阵乘法运算中的不同循环矩阵乘法运算分配给所述GPU的所述CU的不同子集。另外，通过不同工作组的软件同步，所述GPU将所述分配的矩阵乘法运算流水线化，使得CU的每个子集向不同子集提供对应的乘法结果，并且使得CU的每个子集同时执行所述乘法运算的至少一部分。

背景技术

相关技术的描述

现代处理器应用程序通常需要对向量、矩阵和类似结构进行相对复杂的运算。例如，向量和矩阵运算在图形操作、数字信号处理应用程序、神经网络应用等中非常有用。为了提高这些应用程序和操作的处理效率，处理器可以包括图形处理单元(GPU)。GPU包括专用硬件，用于对相对较大的数据块执行并行处理。因此，GPU可以支持图形应用程序，以及需要向量和矩阵运算的其它操作。为了进一步提高处理效率，GPU处的调度器会在CU处调度例如矩阵乘法的操作以确保并行处理。然而，对于一些运算集，传统的调度方法可能需要相对于计算周期数的大量存储器提取周期，因而不利地影响处理器性能。

附图说明

通过参考附图，可以更好地理解本公开，并且本公开的许多特征和优点对本领域技术人员来说变得显而易见。在不同附图中使用相同附图标号来指示相似或相同项。

图1是根据一些实施方案的图形处理单元(GPU)的框图，所述GPU调度在CU的不同子集处的矩阵乘法运算集以及不同子集之间的流水线结果。

图2是说明根据一些实施方案的在图1的GPU处分解矩阵以进行矩阵乘法的示例的框图。

图3是说明根据一些实施方案的在图1的CU的子集处将矩阵乘法运算流水线化的示例的图式。

图4是根据一些实施方案的在CPU处将矩阵乘法运算流水线化的方法的流程图。

具体实施方式

图1到图4示出用于在GPU的CU的不同子集处调度循环矩阵乘法运算以提高处理效率的技术。GPU包括接收循环矩阵乘法运算集的调度器，例如与循环神经网络(RNN)相关联的乘法运算。与例如RNN层相关联的多个运算被融合到单个内核中，所述内核由调度器调度，以便为每个计算单元分配一个工作组，从而将循环矩阵乘法运算中的不同循环矩阵乘法运算分配给GPU的CU的不同子集。另外，通过不同工作组的软件同步，GPU将分配的矩阵乘法运算流水线化，使得CU的每个子集向不同子集提供对应的乘法结果，并且使得CU的每个子集同时执行乘法运算的至少一部分，从而提高GPU处矩阵乘法的效率。

与本文所描述的技术相反，传统方法一次跨GPU的所有CU对矩阵的结果区域进行切片。随着GPU中CU数目的增加，使所有CU忙于矩阵乘法运算是低效的。例如，存储器提取周期与计算周期的比率相对较差。通过采用本文所描述的技术，GPU能够并行完成更多工作，并具有更大的矩阵结果区域来处理每个CU。这种方法应对了带宽限制以及提取矩阵数据的提取操作的时延问题。

图1示出根据一些实施方案的采用共享负载的处理器的GPU 100。在至少一个实施方案中，GPU 100是通常被配置成执行指令集以便代表电子装置执行操作的处理器的一部分。因此，在不同的实施方案中，GPU 100是例如台式或膝上型计算机、服务器、例如智能电话或平板计算机的手持式电子装置、游戏控制台等的电子装置的一部分。GPU 100通常被配置成代表处理器执行图形和矢量处理操作。例如，在一些实施方案中，处理器的中央处理单元(CPU，未在图1中示出)向GPU 100提供用于执行的运算集，由此运算集与图形或矢量处理相关联。