[发明专利]一种量化推理超参数大于1时确保推理精度的方法

说明书

本发明一种量化推理超参数大于1时确保推理精度的方法，包括：假设第i层的量化计算如下所示：Xq＝scale(Q_f*Q_w+bias)然后把scale进行31位定点化运算：其中，增加scale大于1.0的定点化过程，即增加left_shift参数，增加left_shift右移操作值，在对模型超参数量化移位过程中减去left_shift参数，确保网络在scale推理参数能够满足模型的定点化通用性。所述方法旨在修改模型的定点化过程，使得模型能够同时满足scale大于或者小于1的情况。

技术领域

本发明涉及图像处理技术领域，特别涉及一种量化推理超参数大于1时确保推理精度的方法。

背景技术

现有技术中，对模型进行定点化，即对网络进行的权重和feature输出进行定点化处理，使得网络前向传播过程中避免float数的存在，从而提升网络的运行效率及速度；然而由于模型在训练的过程中scale存在多种因素的影响，会导致scale大于1(正常模型的scale值是小于1的float数)的情况，使得模型定点化无法进行移位操作。

原始网络模型定点化公式中对scale的处理需满足scale小于1的要求，scale小于1时，通过移位转化scale至[0.5,1]的区间，然后对scale乘以2的32次方进行定点化；然而网络训练时，模型合并的scale会存在value大于1的情况，因此需要对大于1的scale超参进行额外的处理；换句话说，现有技术中对scale参数进行定点化时，需要满足scale小于1的要求，模型训练的过程中scale值无法保证scale一定小于1，从而导致模型训练完之后无法在定点化推理模型上运行。

现有技术中的常用术语如下：

量化定点化推理：将权重和feature根据超参数进行定点化推理，量化至定点化位宽；

超参数：定点化过程中对超参数(scale)定点化求解过程。

发明内容

为了解决上述问题，本方法的目的在于：修改模型的定点化过程，使得模型能够同时满足scale大于或者小于1的情况。

具体地，本发明提供一种量化推理超参数大于1时确保推理精度的方法，所述方法包括：

假设第i层的量化计算如下所示：

Xq＝scale(Q_f*Q_w+bias)

然后把scale进行31位定点化运算：

其中，增加scale大于1.0的定点化过程，即增加left_shift参数，所述left_shift参数为右移操作值，在对模型超参数量化移位过程中减去left_shift参数，确保网络在scale推理参数能够满足模型的定点化通用性。其中，所述右移操作，逐步使得scale的值缩进至0.5与1.0之间，left_shift的命名是以实际应用时定点化进行命名。

所述方法进一步包括以下步骤：

S1，初始化：其中包括：left_shift参数并赋值为0；

S2，对scale进行小于1.0的定点化；

S3，对scale进行大于1.0的定点化：

当scale值大于1.0时：即while(scale1.0f)；

Scale值除以2并赋值给scale:scale＝scale/2.0；

left_shift加1并赋值给left_shift：left_shift＝left_shift+1；