[发明专利]一种基于数据高位稀疏性的神经网络量化训练方法

权利要求书

1.一种基于数据高位稀疏性的神经网络量化训练方法，其特征在于，该方法具体如下：

步骤(1)取得神经网络需要量化的数据，包括样本数据、权重值或偏置值；

步骤(2)将长度为l的数据d从高位到低位划分为位长为l₀和位长为l₁的两段，位长为l₀的数据为高位数据d₀，位长为l₁的数据为低位数据d₁；

步骤(3)训练低位数据d₁，高位数据d₀不参与训练；低位数据d₁训练时施加正则化：R＝λ∑|w|；其中，R为正则化数值，w为特征系数，具体是网络输入的样本数据、权重值或偏置值，λ为网络的超参数；

步骤(4)若d₁在训练时发生进位或者退位，d₀随之更新为d′₀，转至步骤(3)继续训练；若d₁在训练时未发生进位或者退位，转至步骤(5)；

步骤(5)判断低位数据d₁是否大于阈值Thr：若低位数据d₁大于阈值，转至步骤(3)继续训练；否则，令低位数据d′₁＝0，转至步骤(6)；

步骤(6)将更新后的高位数据d′₀和低位数据d′₁合并为新数据d′，如高位数据未更新过，则将高位数据d₀和d′₁合并为新数据d′；锁死新数据d′，在神经网络训练时不再更新；

步骤(7)等待神经网络其他权重训练完毕，最后输出数据。

2.如权利要求1所述一种基于数据高位稀疏性的神经网络量化训练方法，其特征在于：步骤(4)中更新后的高位数据d′₀＝d₀±n，n为进位或者退位的次数，进位加n，退位减n。

3.如权利要求1所述一种基于数据高位稀疏性的神经网络量化训练方法，其特征在于：步骤(5)中阈值θ为超参数。