[发明专利]一种量化推理过程低位宽bias越界处理方法

说明书

本发明方法旨在剔除模型进行低bit量化过程中合并bias时存在的异常值，确保模型推理精度和训练网络框架保持一致性。提供一种量化推理过程低位宽bias越界处理方法，所述方法包括深度学习卷积浮点型float操作，包括步骤：S1，输入浮点型数据；S2，进行卷积，进行权重合并；S3，进行批量标准化,量化过程中存在对相关参数的合并，会对batchnorm通道gamma值进行单独处理，具体量化时对batchnorm的推导公式如下：假设第i层的量化计算：实际训练过程中对gamm限制在0.1及以上，确保bias不越界；S4，输出浮点型结果。

技术领域

本发明涉及图像处理技术领域，特别涉及一种量化推理过程低位宽bias越界处理方法。

背景技术

现有技术中，随着卷积神经网络模型堆叠的层数越来越多，网络模型的权重参数数量也随之增长，模型进行低bit量化的主要目的是减小模型存储体积，降低feature输出保存位宽，从而能够加速运算。然而很多低bit模型在模型量化推理过程中为了保证运算速度，feature及bias运算结果保存在int16位宽，这样就不可避免的出现bias越界情况。

特别是，对float 32bit量化为低比特时，由于需要保证量化后的运算速度，需要在int16上对网络模型进行运算，由于添加相应量化操作方式，在合并量化参数时，由于bias易受多种因素影响，从而导致bias易于出现越界情况，进而影响模型的量化推理精度，使得模型在推理过程中出现推理错误问题。

现有技术中的常用术语如下：

低比特量化：将权重和feature有32bit位宽定点化至(8bit、4bit、2bit)。

模型推理：将训练模型在推理库上进行前向定点化运算。

偏置：inference推理过程中将超参数合并至16bit数据。

Batchnorm(BN)：批量标准化Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法。

发明内容

为了解决上述问题，本方法的目的旨在剔除模型进行低bit量化过程中合并bias时存在的异常值，使得模型在低bit量化过程中推理正确，确保模型推理精度和训练网络框架保持一致性。

具体地，本发明提供一种量化推理过程低位宽bias越界处理方法，所述方法包括深度学习卷积浮点型float操作，包括步骤：

S1，输入浮点型数据；

S2，进行卷积，进行权重合并；

S3，进行批量标准化,量化过程中存在对相关参数的合并，会对batchnorm通道gamma值进行单独处理，具体量化时对batchnorm的推导公式如下：

假设第i层的量化计算如下所示：

由此推出bias值的大小和gamma值具有联系，实际训练过程中对gamm限制在0.1及以上，确保bias不会存在越界的情况；

S4，进行输出浮点型结果。

所述量化即把网络推理过程的输入数据及权重数据转化成对应的8bit、4bit、2bit数据。

所述batchnorm就是通过规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，通过对输入的值求取mean与var并进行滑动，从而得到mean与var。

所述步骤S3中，所述对相关参数的合并包括对batchnorm中的gamma、beta、mean与var的合并。