[发明专利]基于无标签数据的神经网络模型量化方法及装置

权利要求书

1.一种基于无标签数据的神经网络模型量化方法，其特征在于，所述方法包括：

基于第一预设量化位宽对原始神经网络模型的权重进行量化，获取第一量化神经网络模型；

其中，所述原始神经网络模型为预先设定并训练好的神经网络模型，所述原始神经网络模型的权重为浮点型参数；

基于所述原始神经网络模型的输出和所述第一量化神经网络模型的输出，对所述第一量化神经网络模型的每一层不同通道的量化位宽进行优化，获取第二量化神经网络模型；

其中，所述原始神经网络模型的输出是将预先获取的无标签数据输入所述原始神经网络模型获得的最后一层的输出，所述第一量化神经网络模型的输出是将所述无标签数据输入所述第一量化神经网络模型获得的最后一层的输出；

基于所述原始神经网络模型的特征和所述第二量化神经网络模型的特征，对所述第二量化神经网络模型的权重进行优化，获取目标神经网络模型；

其中，所述原始神经网络模型的特征是将所述无标签数据输入所述原始神经网络模型获得的中间层和最后一层的输出，所述第二量化神经网络模型的特征是将所述无标签数据输入所述第二量化神经网络模型获得的中间层和最后一层的输出。

2.根据权利要求1所述的方法，其特征在于，“基于第一预设量化位宽对原始神经网络模型的权重进行量化”，其方法包括按照如下公式所示的方法对所述原始神经网络模型的权重进行量化，得到第一量化神经网络模型的权重：

w_q＝round(w_f/Δ)Δ

Δ＝(max-min)/(2ⁿ-1)

其中，w_f表示所述原始神经网络模型的权重，f表示所述神经网络模型，w_q表示所述第一量化神经网络模型的权重，q表示所述第一量化神经网络模型，round()表示四舍五入函数，Δ表示量化步长，max表示所述原始神经网络模型的每一层通道中最大的权重，min表示所述原始神经网络模型的每一层通道中最小的权重，n表示所述量化位宽。

3.根据权利要求1所述的方法，其特征在于，“基于所述原始神经网络模型的输出和所述第一量化神经网络模型的输出，对所述第一量化神经网络模型的每一层不同通道的量化位宽进行优化”，其方法包括：

基于所述原始神经网络模型的输出和所述第一量化神经网络模型的输出，获取所述原始神经网络模型和所述第一量化神经网络模型的输出差异值；

基于所述输出差异值，通过反向传播算法优化所述输出差异值，分别获取所述第一量化神经网络模型的每一层通道的权重的相对变化率；

根据所述第一量化神经网络模型的每一层通道的权重的相对变化率，为每一层通道的权重分配对应的量化位宽，以完成对所述第一量化神经网络模型的每一层不同通道的量化位宽进行优化。

4.根据权利要求3所述的方法，其特征在于，“基于所述原始神经网络模型的输出和所述第一量化神经网络模型的输出，获取所述原始神经网络模型和所述第一量化神经网络模型的输出差异值”，其方法包括按照如下公式所示的方法获取所述输出差异值：

L_s＝MSE(u,v)

其中，L_s表示所述输出差异值，u表示所述原始神经网络模型的输出，v表示所述第一量化神经网络模型的输出，MSE表示均方误差函数；

“基于所述输出差异值，通过反向传播算法优化所述输出差异值，分别获取所述第一量化神经网络模型的每一层通道的权重的相对变化率”，其方法包括按照如下公式所示的方法获取权重的相对变化率：

其中，表示所述权重的相对变化率，g表示所述第一量化神经网络模型的每一层通道的权重梯度，w_q表示所述第一量化神经网络模型的权重，Δ表示量化步长。