[发明专利]图形处理单元处的流水线矩阵乘法

权利要求书

1.一种方法，其包括：

在图形处理单元(GPU)[100]处接收用于执行的命令集，所述GPU包括多个计算单元(CU)[105、106、107、108]，所述命令集包括多个矩阵乘法运算[103、114]；

响应于接收到命令集，在CU的第一子集[110]处调度所述多个矩阵乘法运算中的第一矩阵乘法运算以及在所述CU的第二子集[111]处调度所述多个矩阵乘法运算中的第二矩阵乘法运算，CU的所述第二子集不同于CU的所述第一子集；以及

在CU的所述相应第一子集和第二子集处执行所述第一和第二矩阵乘法运算。

2.如权利要求1所述的方法，其还包括：

将所述第一矩阵乘法运算的结果从CU的所述第一子集提供到CU的所述第二子集，以执行所述第二矩阵乘法运算。

3.如权利要求2所述的方法，其还包括：

将所述第二矩阵乘法运算的结果提供到所述多个CU中的CU的第三子集[112]，以执行第三矩阵乘法运算，CU的所述第三子集不同于CU的所述第一子集和所述第二子集。

4.如权利要求3所述的方法，其还包括：

将所述第三矩阵乘法运算的结果从CU的所述第三子集提供到CU的所述第一子集，以执行第四矩阵乘法运算。

5.如权利要求2所述的方法，其中：

所述第一矩阵乘法运算包括第一乘法和第二乘法；

所述第二矩阵乘法运算包括第三乘法；并且

其中执行所述第一和第二矩阵乘法运算包括与所述第三乘法同时执行所述第二乘法。

6.如权利要求5所述的方法，其中：

所述第三乘法将所述第一乘法的结果相乘。

7.如权利要求2所述的方法，其中：

所述第一矩阵乘法运算包括第一乘法和第二乘法；

其中执行所述第一矩阵乘法运算包括在CU的所述第一子集的第一群集处执行所述第一乘法以及在CU的所述第一子集的第二群集处执行所述第二乘法。

8.如权利要求7所述的方法，其中：

执行所述第一矩阵乘法运算包括与所述第二乘法同时执行所述第一乘法。

9.如权利要求1所述的方法，其还包括：

基于所述第一和第二矩阵乘法运算生成循环神经网络(RNN)[102]的输出。

10.一种方法，其包括：

在包括多个计算单元(CU)[105、106、107、108]的图形处理单元(GPU)[100]处接收多个矩阵乘法运算[103、114]；

响应于接收到所述多个矩阵乘法运算，在所述多个CU的不同对应子集[110、111、112、113]处调度所述多个矩阵乘法运算中的不同矩阵乘法运算；以及

在所述多个CU的所述不同子集之间将所述多个矩阵乘法运算的结果流水线化。

11.如权利要求10所述的方法，其还包括：

在所述多个CU的不同子集处同时执行所述多个矩阵乘法运算的部分。

12.一种图形处理单元(GPU)[100]，其包括：

多个CU[105、106、107、108]，包括CU的第一子集[110]和CU的第二子集[111]，CU的所述第二子集不同于CU的所述第一子集；

调度器[104]，所述调度器被配置成：

接收用于执行的命令集，所述命令集包括多个矩阵乘法运算[103、114]；

响应于接收到所述命令集，在CU的所述第一子集处调度所述多个矩阵乘法运算中的第一矩阵乘法运算以及在所述CU的所述第二子集处调度所述多个矩阵乘法运算中的第二矩阵乘法运算；以及

其中CU的所述第一子集和CU的所述第二子集被配置成执行所述第一和第二矩阵乘法运算。