[发明专利]用于对神经网络进行后训练量化的方法和装置

权利要求书

1.一种用于量化神经网络的方法，其特征在于，所述方法包括以下步骤：

装置(100)确定(S901)输入是正数还是负数，其中，所述输入是包括带符号位、至少一个指数位和至少一个尾数位的浮点数；

所述装置(100)确定(S902)所述输入的指数范围；

所述装置(100)确定(S903)所述输入的用于以量化形式表示所述输入的层参数的最大范围；

所述装置(100)确定(S904)所述输入的层的偏移量；

所述装置(100)通过将所述输入转换为对应的二进制形式，执行(S905)指数调整；

所述装置(100)通过将所述偏移量与指数调整值相加，确定(S906)所述输入的指数表示。

2.根据权利要求1所述的方法，其特征在于，如果所述输入是正数，则所述带符号位为0；如果所述输入是负数，则所述带符号位为1。

3.根据权利要求1或2所述的方法，其特征在于，指数范围由以下等式确定：

指数范围＝2^n-1-1

其中，n是位宽。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述最大范围由以下等式确定：

范围＝数值≤2^Level

其中，level是表示所述层参数的整个范围所需的位数。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述偏移量是通过所述指数范围减去表示所述最大范围所需的所述Level并加上所述尾数位的一半确定的。

6.根据权利要求1至5中任一项所述的方法，其特征在于，将所述输入转换为对应的二进制形式包括确定所述输入的位长是否为10位的步骤；其中，如果所述二进制形式的输入的位的位长大于10位，则丢弃低二进制位置的位，并且通过加上丢弃的位数来调整指数部分的值；如果所述二进制形式的输入的所述位的位长小于10位，则将零附加到所述输入的所述二进制形式的末尾，并且通过减去添加的零的数量来调整所述输入的所述指数。

7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括对任何两个量化输入进行乘法运算的步骤。

8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括对任何两个量化输入进行加法运算的步骤。

9.一种用于量化神经网络的装置(100)，其特征在于，所述装置包括：

符号确定模块(101)，用于确定输入是正数还是负数，其中，所述输入是包括带符号位、至少一个指数位和至少一个尾数位的浮点数；

指数范围确定模块(102)，用于确定所述输入的指数范围；

最大范围确定模块(103)，用于确定所述输入的层参数的最大范围；

偏移量确定模块(104)，用于确定所述输入的层的偏移量；

指数调整模块(105)，用于通过将所述输入转换为对应的二进制形式来执行指数调整；

指数表示模块(106)，用于通过将所述偏移量与指数调整值相加来确定所述输入的指数表示。

10.根据权利要求9所述的装置，其特征在于，如果所述输入是正数，则所述带符号位为0；如果所述输入是负数，则所述带符号位为1。

11.根据权利要求9或10所述的装置，其特征在于，指数范围由以下等式确定：

指数范围＝2^n-1-1

其中，n是位宽。

12.根据权利要求9至11中任一项所述的装置，其特征在于，所述最大范围由以下等式确定：

范围＝数值≤2^Level

其中，level是表示所述层参数的整个范围所需的位数。