[发明专利]用于卷积神经网络的自适应量化的方法

说明书

一种用于卷积神经网络的自适应量化的方法，包括如下中的至少一个：接收网络中的层的预定可接受模型准确度；基于浮点值权重和浮点值输入确定层的浮点值乘积累加；以多个权重量化精度量化浮点值权重；以多个输入量化精度量化浮点值输入；基于多个权重量化精度和多个输入量化精度，以多个乘积累加量化精度确定乘积累加；基于浮点值乘积累加与多个乘积累加量化精度之间的差确定多个量化误差；以及基于层的预定可接受模型准确度和多个量化误差选择多个权重量化精度中的一个、多个输入量化精度中的一个和多个乘积累加量化精度中的一个。

技术领域

本发明涉及卷积神经网络，具体地涉及改进网络内的操作效率。

背景技术

卷积神经网络通常由多个卷积层和至少一个全连接层组成。卷积层具有输入激活(input activation)，滤波器(filter)和输出激活(output activation)。在卷积层内，滤波器被卷积并在输入激活范围内运行。滤波器与输入激活逐元素对应地相乘，并将结果相加。然后，滤波器在输入激活范围内按步幅(stride)进行位移，以产生下一组输出激活。此过程是复杂的，并且是存储器带宽密集的。

寻求在不显著降低准确度的情况下减少计算复杂度和存储器带宽的方法。

发明内容

一种用于卷积神经网络的自适应量化的示例方法，包括如下中的至少一个：接收网络中的层的预定可接受模型准确度；基于浮点值权重和浮点值输入确定层的浮点值乘积累加；以多个权重量化精度量化浮点值权重；以多个输入量化精度量化浮点值输入；基于多个权重量化精度和多个输入量化精度，以多个乘积累加量化精度确定乘积累加；基于浮点值乘积累加与多个乘积累加量化精度之间的差确定多个量化误差；以及基于层的预定可接受模型准确度和多个量化误差选择多个权重量化精度中的一个、多个输入量化精度中的一个和多个乘积累加量化精度中的一个。

在一个实施例中，自适应量化的方法还包括基于多个权重量化精度和浮点值权重来确定权重量化敏感度。

在一个实施例中，自适应量化的方法还包括基于多个输入量化精度和浮点值输入来确定输入量化敏感度。

在一个实施例中，自适应量化的方法还包括基于多个乘积累加量化精度和浮点值乘积累加来确定乘积累加量化敏感度。

在一个实施例中，自适应量化的方法还包括基于权重量化敏感度、输入量化敏感度以及乘积累加量化敏感度来确定整体量化敏感度。

在一个实施例中，自适应量化的方法还包括基于预定可接受模型准确度来最小化量化敏感度。

在一个实施例中，自适应量化的方法还包括迭代网络中的层。

在一个实施例中，自适应量化的方法还包括输入层的浮点值权重以及输入层的浮点值输入。

在一个实施例中，浮点值权重是有符号的。

在一个实施例中，浮点值输入是无符号的。

在一个实施例中，自适应量化的方法还包括选择层的量化位数。

在一个实施例中，在自适应量化的方法中，层的量化位数基于其对网络的整体准确度的影响来确定。

在一个实施例中，在自适应量化的方法中，如果层对量化较不敏感，则选择更少的层的量化位数。

附图说明

在图中：

图1是根据本发明的一个实施例的第一示例系统；

图2是根据本发明的一个实施例的第二示例系统；

图3是根据本发明的一个实施例的数值量化的示例描绘；

图4是根据本发明的一个实施例的在一组网络层中使用的自适应量化和混合精度的第一示例；