[发明专利]一种量化推理过程低位宽bias越界处理方法

权利要求书

1.一种量化推理过程低位宽bias越界处理方法，其特征在于，所述方法包括深度学习卷积浮点型float操作，包括步骤：

S1，输入浮点型数据；

S2，进行卷积，进行权重合并；

S3，进行批量标准化,量化过程中存在对相关参数的合并，会对batchnorm通道gamma值进行单独处理，具体量化时对batchnorm的推导公式如下：

假设第i层的量化计算如下所示：

由此推出bias值的大小和gamma值具有联系，实际训练过程中对gamm限制在0.1及以上，确保bias不会存在越界的情况；

S4，进行输出浮点型结果。

2.根据权利要求1所述的一种量化推理过程低位宽bias越界处理方法，其特征在于，所述量化即把网络推理过程的输入数据及权重数据转化成对应的8bit、4bit、2bit数据。

3.根据权利要求1所述的一种量化推理过程低位宽bias越界处理方法，其特征在于，所述batchnorm就是通过规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，通过对输入的值求取mean与var并进行滑动，从而得到mean与var。

4.根据权利要求1至3中任一所述的一种量化推理过程低位宽bias越界处理方法，其特征在于，所述步骤S3中，所述对相关参数的合并包括对batchnorm中的gamma、beta、mean与var的合并。

5.根据权利要求4所述的一种量化推理过程低位宽bias越界处理方法，其特征在于，所述方法为了保证网络训练的收敛性，所述batchnorm为了保证非线性的获得，对变换后的满足均值为0且方差为1的x又进行了gamma加上beta操作：y＝gamma*x+beta，每个输入增加gamma和beta参数，这两个参数是通过训练学习到的，从而找到一个线性和非线性的较好平衡点。

6.根据权利要求1所述的一种量化推理过程低位宽bias越界处理方法，其特征在于，所述gamma限制在0.1是通过模型训练及测试推理过程中对数据越界处理得到的；当gamma大于0.1时，能够限制bias的值越界，从而保证模型推理结果的正确性。

7.根据权利要求6所述的一种量化推理过程低位宽bias越界处理方法，其特征在于，所述模型训练包括人脸检测、人形检测和属性检测。