[发明专利]机器学习稀疏计算机制

权利要求书

1. 一种设备，包括：

存储器，所述存储器用于存储张量集合；以及

张量加速器，所述张量加速器耦合到所述存储器，所述张量加速器包括：

硬件单元，所述硬件单元用于检测所述张量集合的压缩表示内的稀疏性模式；

缓冲器，所述缓冲器用于存储所述输入张量集合的元素；

处理元件阵列，所述处理元件阵列用于对所述输入张量的所述元素执行操作，所述操作与点积操作关联，所述处理元件阵列中的每个处理元件包括用于存储所述操作的操作数的一个或多个寄存器，其中所述处理元件阵列将：

从所述缓冲器接收所述张量集合的所述元素；

将从所述缓冲器接收的所述元素存储在所述处理元件阵列内的所述处理元件的所述一个或多个寄存器内；

对从所述缓冲器接收的非零元素执行所述操作，所述非零元素至少部分基于在所述张量集合的所述压缩表示内检测到的所述稀疏性模式来确定；以及

输出所述操作的结果。

2.如权利要求1中所述的设备，另外包括硬件互连，所述硬件互连用于将所述缓冲器与所述处理元件阵列耦合。

3.如权利要求1中所述的设备，另外包括将经由检测所述张量集合的所述压缩表示的所述稀疏性模式内的稀疏区域来检测所述张量集合内的稀疏区域，以及旁路要对所述稀疏区域执行的操作。

4.如权利要求1中所述的设备，其中将检测所述张量集合内的所述稀疏性模式包括将确定所述输入张量集合内的非零值的坐标。

5.如权利要求4中所述的设备，其中所述处理元件阵列内的所述处理元件的所述检测器仅存储所述张量集合的非零元素。

6.如权利要求5中所述的设备，其中所述缓冲器仅存储所述张量集合的非零元素。

7.如权利要求1中所述的设备，其中所述存储器是动态随机存取存储器。

8.一种方法，包括：

在配置成加速与点积操作关联的矩阵乘法操作的计算加速器上：

将矩阵集合存储到存储器；

检测所述矩阵集合的压缩表示内的稀疏性模式；

将所述矩阵集合的元素存储到所述计算加速器上的缓冲器；以及

对所述矩阵的所述元素执行所述矩阵乘法操作，所述矩阵乘法操作经由包括一个或多个寄存器的处理元件阵列来执行，所述一个或多个寄存器用于存储所述矩阵乘法操作的操作数，其中执行所述矩阵乘法操作包括：

从所述缓冲器接收所述矩阵集合的所述元素；

将从所述缓冲器接收的所述元素存储在所述处理元件阵列内的所述处理元件的所述一个或多个寄存器内；

对从所述缓冲器接收的非零元素执行所述矩阵乘法操作，所述非零元素至少部分基于在所述矩阵集合的所述压缩表示内检测到的所述稀疏性模式来确定；以及

输出所述矩阵乘法操作的结果。

9.如权利要求8中所述的方法，另外包括基于所述矩阵集合的所述压缩表示的所述稀疏性模式来检测所述矩阵集合内的稀疏区域。

10.如权利要求9中所述的方法，另外包括旁路要对所述稀疏区域执行的操作。

11.如权利要求8中所述的方法，其中检测所述矩阵集合的所述压缩表示内的所述稀疏性模式包括确定所述矩阵集合内的非零值的坐标。

12.如权利要求11中所述的方法，其中所述处理元件阵列内的所述处理元件的所述检测器仅存储所述矩阵集合的非零元素。

13.如权利要求12中所述的方法，其中所述缓冲器仅存储所述矩阵集合的非零元素。

14.如权利要求8中所述的方法，其中所述存储器是动态随机存取存储器。