[发明专利]带有子矩阵定序的矩阵乘法器

说明书

一种处理器的图形处理单元(GPU)[100]对子矩阵在矩阵乘法器[110]处的应用进行定序，以减少在所述矩阵乘法器的输入寄存器[106、107]处的输入改变的次数。所述矩阵乘法器被配置为对相对小的矩阵执行矩阵乘法。为了将两个较大矩阵[220、222]相乘，所述GPU将所述较大矩阵分解为较小子矩阵[221]并且按序列将所述子矩阵存储在所述矩阵乘法器的输入寄存器处，从而计算结果矩阵的每一列。所述GPU对所述子矩阵在所述输入寄存器处的所述存储进行定序以在所述矩阵乘法器的多个计算周期内维持在所述输入寄存器中的一个处的输入数据，从而降低在所述GPU处的功耗。

背景技术

现代处理器应用通常要求矢量、矩阵和类似结构的相对复杂操纵。例如，矢量和矩阵操纵可用于图形操作、数字信号处理应用、神经网络应用等。为了提高这些应用和操作的处理效率，处理器可包括图形处理单元(GPU)。GPU包括专门的硬件以对相对大的数据块执行并行处理。因此，GPU可支持图形应用以及要求矢量和矩阵操纵的其他应用。为了进一步提高处理效率，GPU可包括专用硬件以执行指定类型的矩阵运算，包括矩阵乘法。然而，这种专用硬件的常规方法可能会消耗大量的功率且因而负面地影响处理器性能。

附图说明

通过参考附图，可更好地理解本公开，并且本公开的许多特征和优点对本领域技术人员来说变得显而易见。在不同的附图中使用相同的附图标记来指示类似或相同的项。

图1是根据一些实施方案的处理器的GPU的框图，该GPU被配置为通过对子矩阵到矩阵乘法器的应用进行定序来执行矩阵乘法。

图2是示出根据一些实施方案的用于在图1的GPU处进行乘法的示例矩阵的图。

图3是示出根据一些实施方案的对子矩阵到图1的矩阵乘法器的应用进行定序的示例的图。

图4是根据一些实施例方案的支持子矩阵定序的图1的GPU的附加方面的框图。

图5是根据一些实施方案的对子矩阵在GPU的矩阵乘法器处的应用进行定序的方法的流程图。

具体实施方式

图1至图5示出了用于通过对子矩阵在矩阵乘法器处的应用进行定序以减少矩阵乘法器的输入寄存器处的输入改变的次数来降低处理器的图形处理单元(GPU)处的功耗的技术。矩阵乘法器被配置为对相对小的矩阵(例如，4×4矩阵)执行矩阵乘法。为了将两个较大矩阵(例如，16×16矩阵)相乘，GPU将较大矩阵分解为较小子矩阵并且按序列将子矩阵存储在矩阵乘法器的输入寄存器处，从而计算结果矩阵的每一列。GPU对子矩阵在输入寄存器处的存储进行定序以在矩阵乘法器的多个计算周期内维持在输入寄存器中的一个处的输入数据，从而降低GPU处的功耗。

图1是根据一些实施方案的处理器的GPU 100，该GPU被配置为通过对子矩阵的应用进行定序来执行矩阵乘法。在至少一个实施方案中，GPU 100是通常被配置为执行指令集以便代表电子装置来实施操作的处理器的部分。因此，在不同的实施方案中，GPU 100是诸如台式或膝上型计算机、服务器、手持式电子装置(诸如智能电话或平板电脑)、游戏控制台等的电子装置的部分。GPU 100通常被配置为代表处理器来执行图形和矢量处理操作。例如，在一些实施方案中，处理器的中央处理单元(CPU，图1处未示出)向GPU提供操作集以供执行，其中操作集与图形或矢量处理相关联。

为了促进所提供的操作的执行，GPU 100包括多个单指令多数据(SIMD)处理单元(例如，SIMD单元102和104)。应了解，GPU 100还包括附加模块以支持SIMD单元，诸如用于获取和解码SIMD单元的指令的获取和解码逻辑、用于存储SIMD单元的操作数的寄存器文件等。为了支持一组输入矩阵105的矩阵乘法运算，每个SIMD单元包括矩阵乘法器以及对应的输入寄存器和对应的输出寄存器。例如，SIMD单元102包括矩阵乘法器110、输入寄存器106和107，以及输出寄存器108。应了解，术语“寄存器”是指被配置为存储矩阵(包括子矩阵)的任何存储模块。