[发明专利]一种基于数据高位稀疏性的神经网络量化训练方法

说明书

本发明公开了一种基于数据高位稀疏性的神经网络量化训练方法。本发明方法首先将数据分为高位数据和低位数据两段，低位数据训练时施加正则化，高位数据不参与训练；若低位数据训练时发生进位或者退位，更新高位数据；训练完毕后检查高位数据是否更新，若更新则继续训练，否则，判断低位数据是否大于阈值：若低位数据大于阈值，继续训练；否则，令低位数据等于0。将最终的高位数据和低位数据合并为新数据，并且锁死，在神经网络训练时不再更新；等待神经网络其他权重训练完毕，最后输出数据。本发明方法在线性量化或者其他简单量化的基础上，对其他量化得到的数据进行进一步量化，使得数据稀疏性更强，有利于硬件计算和存储，同时保证网络性能。

技术领域

本发明属于神经网络技术领域，尤其是神经网络的数值量化、训练方法的技术领域，涉及一种基于数据高位稀疏性的神经网络量化训练方法。

背景技术

深度学习目前是一项快速发展的技术，其应用范围也逐渐的拓展到各个领域，如自动驾驶，医学诊断，语音识别以及自然语言处理等。为了使神经网络的性能更加强大，往往需要更大规模的数据集，更加庞大的神经网络模型，这对目前的硬件设备提出了巨大的挑战，为了使神经网络的可以应用在小型设备上，达到实时预测，部署方便的目的，必须将神经网络的模型进行减小。所以神经网络压缩的研究方向近年来十分火热。

神经网络量化是最直接的手段，将高精度的浮点参数，通过量化算法使用低精度的浮点值或者定点值进行表示，即可达到量化前的神经网络性能。目前常用的量化方法主要是线性量化，然而通常都会使网络性能下降，所以有许多研究人员针对神经网络的特点提出了许多非线性量化方法，在保证精度的同时，大幅压缩了神经网络的参数体积。另外在训练神经网路时，为了减少神经网络模型的参数量，通常在训练时也会加入相应的约束，如对权重添加正则化项，使得权重随着训练时间的变长而逐渐向零靠近。除此之外，还可以改变网络结构，进行矩阵分解，权重稀疏化，1×1小卷积等手段都可以提升网络的稀疏性，不过参数量化后网络的一般都会略微下降，这时候通常需要对模型进行重训练以恢复网络性能。

发明内容

本发明的目的是提供一种基于数据高位稀疏性的神经网络量化训练方法，该方法在线性量化或者其他简单量化的基础上，针对其他量化得到的数据进行进一步量化，使得数据稀疏性更强，网络性能也能得到有效保证。

本发明方法具体步骤如下：

步骤(1)取得神经网络需要量化的数据，包括样本数据、权重值或偏置值；

步骤(2)将长度为l的数据d从高位到低位划分为位长为l₀和位长为l₁的两段，位长为l₀的数据为高位数据d₀，位长为l₁的数据为低位数据d₁；

步骤(3)训练低位数据d₁，高位数据d₀不参与训练；低位数据d₁训练时施加正则化：R＝λ∑|w|；其中，R为正则化数值，w为特征系数，具体是网络输入的样本数据、权重值或偏置值，λ为网络的超参数；

步骤(4)若d₁在训练时发生进位或者退位，d₀随之更新为d′₀，转至步骤(3)继续训练；若d₁在训练时未发生进位或者退位，转至步骤(5)；

步骤(5)判断低位数据d₁是否大于阈值Thr：若低位数据d₁大于阈值，转至步骤(3)继续训练；否则，令低位数据d′₁＝0，转至步骤(6)；

步骤(6)将更新后的高位数据d′₀和低位数据d′₁合并为新数据d′，如高位数据未更新过，则将高位数据d₀和d′₁合并为新数据d′；锁死新数据d′，在神经网络训练时不再更新；