[发明专利]模型的量化训练方法、装置及存储介质

权利要求书

1.一种模型的量化训练方法，所述方法用于对计算机视觉深度学习模型量化，其特征在于，包括：

在每一次模型迭代训练时，根据所述模型权重或激活值的数值分布特点确定量化参数；所述激活值表示由像素点组成的特征图；

根据所述量化参数量化所述模型的每一层权重和激活值，得到权重量化值和激活量化值；

采用所述权重量化值和所述激活量化值进行前向运算，以进行图像分析输出下一所述激活值；

根据所述权重量化值和所述激活量化值反向计算所述模型的梯度，以通过所述梯度调整所述模型权重。

2.如权利要求1所述的模型的量化训练方法，其特征在于，所述根据所述模型权重或激活值的数值分布特点确定量化参数，包括：

选取所述模型的所有权重或激活值的绝对值中最大值；

根据所述最大值确定动态定点位置P，以使所述权重量化值和所述激活量化值在范围[-2^p+7,2^p+7)内表示。

3.如权利要求1所述的模型的量化训练方法，其特征在于，所述根据所述模型权重或激活值的数值分布特点确定量化参数，包括：

获取所述模型中每一权重或激活值的定点位置；

根据所述模型的权重或激活值的定点位置分布状态，确定满足预设范围内的权重或激活值数量最多的定点位置p为动态定点位置。

4.如权利要求2或3所述的模型的量化训练方法，其特征在于，所述根据所述量化参数量化所述模型的每一层权重和激活值，得到权重量化值和激活量化值，包括：

根据所述动态定点位置P确定动态缩放因子2^p；

根据所述动态缩放因子与量化值的关系分别对所述权重和所述激活值进行量化，得到权重量化值和激活量化值；其中，

所述动态缩放因子与量化值的关系为：Q_int-k＝round(W_flt-k*2^-P)；

Q_int-k为所述模型的每一层第k个权重的权重量化值或第k个激活值的激活量化值；W_flt-k为第k个权重或激活值的浮点值；2^p为动态缩放因子。

5.如权利要求2所述的模型的量化训练方法，其特征在于，所述根据所述最大值确定动态定点位置P，以使所述权重量化值和所述激活量化值在范围[-2^p+7,2^p+7)内表示，包括：

计算以2为底的所述最大值的对数；

确定不小于所述对数的下一整数与7的差值为动态定点位置P。

6.如权利要求3所述的模型的量化训练方法，其特征在于，所述获取所述模型中每一权重或激活值的定点位置，包括：

对于所述模型中每一权重或激活值，获取所述权重或所述激活值的浮点值；

根据浮点值与定点位置的关系，得到所述权重或所述激活值对应的定点位置；其中，

所述浮点值与所述定点位置的关系为：W_int-k＝round(W_flt-k*2^-position)；

W_int-k为权重或激活值的定点值；W_flt-k为权重或激活值的浮点值；_position为定点位置。

7.一种模型的量化训练装置，其特征在于，包括：

量化参数确定模块，用于在每一次模型迭代训练时，根据所述模型权重或激活值的数值分布特点确定量化参数；所述激活值表示由像素点组成的特征图；

量化模块，用于根据所述量化参数量化所述模型的每一层权重和激活值，得到权重量化值和激活量化值；

前向运算模块，用于采用所述权重量化值和所述激活量化值进行前向运算，以进行图像分析输出下一所述激活值；

梯度计算模块，用于根据所述权重量化值和所述激活量化值反向计算所述模型的梯度，以通过所述梯度调整所述模型权重。