[发明专利]加速机器学习操作的方法、图形处理单元和数据处理系统

权利要求书

1.一种用于加速机器学习操作的图形处理单元，所述图形处理单元包括：

多处理器，所述多处理器具有单指令多线程架构，所述多处理器用于跨所述多处理器的多个线程执行至少一个单个指令，其中，寄存器堆的至少一部分被专用于所述多个线程中的每一个；

包括在所述多处理器内的第一计算单元，所述至少一个单个指令使得所述第一计算单元执行二维矩阵乘法累加操作，其中，执行所述二维矩阵乘法累加操作包括计算16位操作数的32位中间乘积并且基于所述32位中间乘积计算32位和，其中，所述第一计算单元用于根据所述至少一个单个指令的两个或更多个16位操作数计算所述32位中间乘积，对所述16位操作数执行16位浮点乘法以生成16位乘积，并将所述16位乘积转换成所述32位中间乘积。

2.如权利要求1所述的图形处理单元，所述多处理器用于执行线程组的并行线程，所述线程组中的每个线程具有独立的线程状态。

3.如权利要求2所述的图形处理单元，所述多处理器包括调度器，所述调度器用于将所述线程组的并行线程调度到所述多处理器内的多个计算单元。

4.如权利要求3所述的图形处理单元，所述多处理器内的多个计算单元包括用于执行整数操作的第二计算单元，所述调度器用于将浮点操作调度到所述第一计算单元并且将整数操作调度到所述第二计算单元，其中，所述多处理器用于同时在所述第一计算单元上执行浮点操作并且在所述第二计算单元上执行整数操作。

5.如权利要求4所述的图形处理单元，所述多处理器用于同时在所述第一计算单元上以第一精度执行第一浮点操作并且以第二精度执行第二浮点操作。

6.如权利要求1所述的图形处理单元，所述第一计算单元还包括一个或多个移位器，所述一个或多个移位器用于归一化或对齐中间结果。

7.如权利要求6所述的图形处理单元，所述第一计算单元用于基于所述32位中间乘积来计算16位和。

8.一种数据处理系统，包括：

图形处理单元，所述图形处理单元用于加速机器学习操作，所述图形处理单元包括多处理器，所述多处理器具有单指令多线程架构，所述多处理器用于跨所述多处理器的多个线程执行至少一个单个指令，其中，寄存器堆的至少一部分被专用于所述多个线程中的每一个；

包括在所述多处理器内的第一计算单元，所述至少一个单个指令使得所述第一计算单元执行二维矩阵乘法累加操作，其中，执行所述二维矩阵乘法累加操作包括计算16位操作数的32位中间乘积并且基于所述32位中间乘积计算32位和，其中，所述第一计算单元用于根据所述至少一个单个指令的两个或更多个16位操作数计算所述32位中间乘积，对所述16位操作数执行16位浮点乘法以生成16位乘积，并将所述16位乘积转换成所述32位中间乘积；以及

存储器，所述存储器与所述图形处理单元通信地耦合。

9.如权利要求8所述的数据处理系统，所述多处理器用于执行线程组的并行线程，所述线程组中的每个线程具有独立的线程状态。

10.如权利要求9所述的数据处理系统，所述多处理器包括调度器，所述调度器用于将所述并行线程调度到所述多处理器内的多个计算单元。

11.如权利要求10所述的数据处理系统，所述多处理器内的多个计算单元包括用于执行整数操作的第二计算单元，所述调度器用于将浮点操作调度到所述第一计算单元并且将整数操作调度到所述第二计算单元，其中，所述多处理器用于同时在所述第一计算单元上执行浮点操作并且在所述第二计算单元上执行整数操作。

12.如权利要求11所述的数据处理系统，所述多处理器用于同时在所述第一计算单元上以第一精度执行第一浮点操作并且以第二精度执行第二浮点操作。