[发明专利]加速的量化乘法和加法运算

权利要求书

1.一种计算机实施的方法，其包括：

接收到人工神经网络的卷积层的浮点输入；

将所述浮点输入线性量化为n位整数输入，其中：

n是8的倍数；

所述浮点输入的最小值被量化为整数零；

所述浮点输入的最大值被量化为2ⁿ-1；并且

在没有量化误差的情况下，所述浮点输入的零值被量化为表示所述浮点输入的所述零值的整数；

将所述整数输入存储在存储器中；

由所述卷积层从所述存储器中读取所述整数输入；

由减法引擎通过从所述整数输入中减去表示所述浮点输入的所述零值的所述整数使得所述浮点输入的所述零值由整数值零表示来产生差值；

由所述卷积层对所述差值执行一组n+1位整数乘法和求和运算，以生成乘积的总和；以及

由所述人工神经网络的激活层、池化层或输出缓冲器通过利用浮点缩放因子对所述乘积的总和进行缩放来生成浮点输出。

2.根据权利要求1所述的计算机实施的方法，其中n等于8。

3.根据权利要求1所述的计算机实施的方法，其中所述浮点输入的所述最小值和所述最大值相对于所述浮点输入的所述零值不是对称的。

4.根据权利要求1所述的计算机实施的方法，其中所述浮点输出表示所述浮点输入的卷积结果。

5.根据权利要求1所述的计算机实施的方法，其中所述浮点缩放因子是第一浮点缩放因子；并且

其中所述第一浮点缩放因子包括第二浮点缩放因子的乘法乘积，每个第二浮点缩放因子与所述将所述浮点输入中的一个浮点输入量化为相应n位整数输入相关联。

6.一种用于人工神经网络的设备，其包括：

存储装置，所述存储装置被配置成存储用于卷积运算的低精度输入，其中所述低精度输入是使用非对称量化从高精度输入生成的；

减法引擎阵列，所述减法引擎阵列被配置成从所述存储装置接收所述低精度输入并且从所述低精度输入中减去表示高精度零值的低精度值，从而产生差值；

处理元件阵列，所述处理元件阵列被配置成使用所述差值生成乘积的总和，所述处理元件阵列包含多行处理元件，每行处理元件被配置成从对应减法引擎接收差值；以及

处理引擎，所述处理引擎被配置成通过缩放因子对所述乘积的总和进行缩放，以生成高精度输出。

7.根据权利要求6所述的设备，其中：

所述低精度输入以n位格式存储在所述存储装置中；并且

n是8的倍数。

8.根据权利要求7所述的设备，其中：

所述高精度输入包括32位浮点输入；

所述低精度输入包括8位无符号整数；并且

所述差值包括9位带符号整数。

9.根据权利要求6所述的设备，其中，在所述非对称量化中：

所述高精度输入的最小值被量化为所述低精度输入中的零值；

所述高精度输入的最大值被量化为所述低精度输入中的最大值；并且

在没有量化误差的情况下，所述高精度输入的零值被量化为表示所述高精度零值的所述低精度值。

10.根据权利要求6所述的设备，其中：

所述高精度输入包括用于人工神经网络的层的权重和输入数据元素；并且

所述权重和所述输入数据元素被独立地量化。

11.根据权利要求10所述的设备，其中所述减法引擎阵列被配置成从与所述权重和所述输入数据元素两者相对应的低精度输入中减去。

12.根据权利要求6所述的设备，其中所述设备包括现场可编程门阵列、片上系统、专用集成电路、可编程阵列逻辑或复杂可编程逻辑装置。