[发明专利]模型的量化训练方法、装置及存储介质

说明书

本申请属于模型量化技术领域，提供了一种模型的量化训练方法、装置及存储介质，用于对计算机视觉深度学习模型量化，该方法包括：在每一次模型迭代训练时，根据所述模型权重或激活值的数值分布特点确定量化参数；所述激活值表示由像素点组成的特征图；根据所述量化参数量化所述模型的每一层权重和激活值，得到权重量化值和激活量化值；采用所述权重量化值和所述激活量化值进行前向运算，以进行图像分析输出下一所述激活值；根据所述权重量化值和所述激活量化值反向计算所述模型的梯度，以通过所述梯度调整所述模型权重。本申请实施例通过在每次模型迭代训练时均根据模型的权重或激活值的数值分布动态更新量化参数，解决模型的性能损失问题。

技术领域

本发明涉及模型量化的技术领域，尤其涉及一种模型的量化训练方法、装 置及存储介质。

背景技术

卷积神经网络模型推理过程中，卷积和全连接是算力占用最多的算子，这 两个算子的权重是模型中最主要的参数。在当前计算机结构中，浮点数计算的 功耗和时间都比定点数计算多。如果能够将卷积和全连接的运算数都变为定点 数，将大幅提升运算效率，减小功耗，减少存储空间使用。现有技术中，学术 界已有将浮点模型量化为定点模型的理论。动态定点原理将一个集合中的浮点 权重，表示为定点数乘以公共的动态缩放因子，动态缩放因子限制为2的整数 次幂。根据上述理论构建低精度动态定点权重的模型训练方法。在神经网络训 练过程中，模型权重会随着训练而不断改变。但由于量化权重的动态缩放因子中的定点位置被固定为预设范围或初始位置，使得通过此方法训练出来的量化 模型只能在初始选择的定点位置基础上得到定点模型，限制模型权值的取值范 围，导致模型在训练过程中无法自适应的学习最优参数，从而造成模型的性能 损失。

发明内容

有鉴于此，本发明实施例提供了一种模型的量化训练方法、装置及存储介 质，以解决模型的性能损失问题。

本发明实施例的第一方面提供了一种模型的量化训练方法，所述方法用于 对计算机视觉深度学习模型量化，包括：

在每一次模型迭代训练时，根据所述模型权重或激活值的数值分布特点确 定量化参数；所述激活值表示由像素点组成的特征图；

根据所述量化参数量化所述模型的每一层权重和激活值，得到权重量化值 和激活量化值；

采用所述权重量化值和所述激活量化值进行前向运算，以进行图像分析输 出下一所述激活值；

根据所述权重量化值和所述激活量化值反向计算所述模型的梯度，以通过 所述梯度调整所述模型权重。

在一个实施示例中，所述根据所述模型权重或激活值的数值分布特点确定 量化参数，包括：

选取所述模型的所有权重或激活值的绝对值中最大值；

根据所述最大值确定动态定点位置P，以使所述权重量化值和所述激活量 化值在范围[-2^p+7,2^p+7)内表示。

在一个实施示例中，所述根据所述模型权重或激活值的数值分布特点确定 量化参数，包括：

获取所述模型中每一权重或激活值的定点位置；

根据所述模型的权重或激活值的定点位置分布状态，确定满足预设范围内 的权重或激活值数量最多的定点位置p为动态定点位置。

在一个实施示例中，所述根据所述量化参数量化所述权重和所述激活值， 得到权重量化值和激活量化值，包括：

根据所述动态定点位置P确定动态缩放因子2^p；

根据所述动态缩放因子与量化值的关系分别对所述权重和所述激活值进行 量化，得到权重量化值和激活量化值；其中，