[发明专利]一种模型量化方法及其装置

权利要求书

1.一种模型量化方法，其特征在于，所述方法包括：

获取神经网络的第一参数；所述第一参数包括所述神经网络中中间层的权重矩阵或者所述中间层输出的特征图，所述神经网络为浮点模型；

根据所述第一参数的数值分布，确定量化截断区间，所述量化截断区间包括上界阈值和下界阈值，其中，所述第一参数中数值小于所述下界阈值的参数数量、所述第一参数中数值大于所述下界阈值且小于所述上界阈值的参数数量、以及所述第一参数中数值大于所述上界阈值的参数数量三者之间的差异小于阈值；

根据所述量化截断区间，对所述第一参数进行三值量化，得到量化后的所述神经网络。

2.根据权利要求1所述的方法，其特征在于，所述第一参数满足高斯分布，所述数值分布包括所述第一参数的均值和方差，所述上界阈值为所述均值和第一数值的加和结果，所述第一数值为所述方差与预设比例的乘积，所述下界阈值为所述均值和所述第一数值的差值结果。

3.根据权利要求2所述的方法，其特征在于，所述预设比例为0.43。

4.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述量化截断区间，对所述第一参数进行三值量化之后，所述方法还包括：

对所述量化后的所述神经网络进行训练，并更新所述上界阈值和所述下界阈值，以得到更新后的上界阈值和更新后的下界阈值。

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述量化截断区间，对所述第一参数进行三值量化，包括：

根据所述量化截断区间，通过第一预设方式，对所述第一参数进行三值量化；其中，所述第一预设方式包括：数值小于所述下界阈值的参数被量化为第一量化系数，数值大于所述上界阈值的参数被量化为第二量化系数；

所述方法还包括：

对所述量化后的所述神经网络进行训练，并更新所述第一量化系数和所述第二量化系数，以得到更新后的第一量化系数和更新后的第二量化系数。

6.根据权利要求5所述的方法，其特征在于，所述第一量化系数和所述第二量化系数为相反数。

7.根据权利要求4至6任一所述的方法，其特征在于，所述第一参数包括所述神经网络中中间层的权重矩阵以及所述中间层输出的特征图；

所述对所述量化后的所述神经网络进行训练，包括：

以所述神经网络为老师模型，对量化后的所述神经网络进行训练，并更新量化后的所述神经网络中中间层的权重矩阵，得到第一神经网络；

以所述神经网络为老师模型，对所述第一神经网络进行训练，并更新所述第一神经网络中所述中间层的权重矩阵以及所述中间层输出的特征图进行更新，得到第二神经网络。

8.根据权利要求4至7任一所述的方法，其特征在于，所述更新所述上界阈值和所述下界阈值，包括：

根据量化后的所述神经网络在前向传播的处理结果确定目标损失；

根据目标损失以及第二预设方式，确定所述上界阈值和所述下界阈值对应的更新梯度；其中，所述第二预设方式为通过将所述第一预设方式调整为可导的变换得到的。

9.根据权利要求5至8任一所述的方法，其特征在于，所述更新所述第一量化系数和所述第二量化系数，包括：

根据量化后的所述神经网络在前向传播的处理结果确定目标损失；

根据目标损失以及第二预设方式，确定所述第一量化系数和所述第二量化系数对应的更新梯度；其中，所述第二预设方式为通过将所述第一预设方式调整为可导的变换得到的。

10.根据权利要求8或9所述的方法，其特征在于，所述第二预设方式为随机量化。