[发明专利]一种面向结构剪枝结合量化的深度卷积神经网络压缩方法

说明书

本发明提出了一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，属于计算、推算或计数的技术领域。该压缩方法在反向传播的过程中通过梯度下降的方式更新权重参数，并根据网络损失精度对更新后的权重进行结构剪枝，实现权重参数的可连续更新并加快卷积计算的处理速度。本发明利用FPGA实现的加速器以该压缩方法得到的权重编码为输入数据，通过包括448个SQPE的并行计算阵列实现高并行特征值与结构剪枝后权重的移位累加操作，支持不同压缩率结构化剪枝后的稀疏网络的卷积操作，实现了硬件友好型低功耗高吞吐量的加速器。

技术领域

本发明涉及电子信息以及深度学习技术，特别涉及一种面向结构剪枝结合量化的深度卷积神经网络加速器，属于计算、推算或计数的技术领域。

背景技术

近些年，大数据的积聚、理论算法的革新、计算能力的提升及网络设施的演进，使得持续积累了半个多世纪的人工智能产业又一次迎来革命性的进步，人工智能的研究和应用进入全新的发展阶段。新的运用于人工智能的深度神经网络更新迭代，层出不穷。从最早用于数字识别的LeNet到2012年ILSVRC比赛冠军AlexNet再到2014年的GoogleNet，图像识别的准确率不断上升，随之而来的是网络计算量以及网络参数的成倍增长。然而，在一些实时性要求强的领域以及低功耗的移动端场景，比如智能手机以及自动驾驶场景，巨大的计算量以及参数量成为限制深度神经网络在这些领域部署的主要障碍。如何设计一款高吞吐率以及高能效比的深度卷积神经网络加速器成为关键。

从现有的研究来看，剪枝以及量化成为设计卷积神经网络的趋势。网络中存在许多零值参数，通过剪枝可以缩减网络的大部分冗余参数，只保存有效的权重信息，这种合理的裁剪对网络精度影响较小，甚至通过网络剪枝剔除网络中冗余的部分参数，为网络的推断带来精度上的提升。但是剪枝去除的参数分布比较随机，造成负载不平衡问题，使加速器的计算效率低下，虽然有的设计在加速器中加入了编解码单元，但是这些单元普遍较为复杂。量化即将高精度的权值量化为低精度的离散值，可以减少内存需求，减低运算功耗，有的设计使用增量量化的方案对权重参数进行量化，并根据量化特点使用移位替代乘法，但是只支持固定的权重取值范围，不同层参数量化有不同范围时则无法支持。本申请旨在设计面向结构剪枝结合量化压缩算法并实现硬件友好型低功耗高吞吐量加速器。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，基于该压缩方法实现的加速器适用于脉动阵列规整数据流的结构剪枝和量化，解决了现有的剪枝与量化方案负载不平衡、计算效率低下、不支持不同层参数量化的技术问题。

本研究的是基于脉动阵列的结构。面向结构剪枝结合量化算法的加速器优势明显，结构剪枝由于是规整剪枝，适用于脉动整列的规整数据流，这可以解决稀疏网络在加速器中的负载不平衡问题，提高吞吐率。不需要设计复杂的编码以及译码器，减少设计的复杂度。

本发明为实现上述发明目的采用如下技术方案：

面向结构剪枝结合量化压缩算法，首先，对网络进行量化处理，根据预训练好的网络权重参数的数值大小，将预训练好的网络权重参数直接置成与其数值相邻的幂次方数；接着，重新训练，对网络权重参数值进行调整，根据反向传播的梯度决定参数是否继续改变，梯度为正则参数往下跳一个指数级，到达2^-13数值边界则不变，梯度为负则参数往上跳一个指数级，如果数值到达2⁴的边界，则保持不变。更新权重参数的公式如1-1所示，其中，w’表示更新后的权重，w表示原始的权重，L表示损失函数，在本次实验中采用交叉熵作为损失函数。训练完成之后，统计每层权重参数的数值范围，根据这个范围配置电路每层的参数范围；然后，对网络权重参数进行结构化的剪枝，具体是将权重参数输入通道分组，每组八个通道，然后保留八个通道内所有相同位置上的某一个值，例如八通道(0,0)位置的值保留一个，(0,1)位置的值保留一个，这样就将八个通道压缩成一个通道；最后，采用自适应算法评估保留哪个值对网络精度的损失影响最小，提取量化权值的幂值数据以及结构剪枝中保留通道的相对位置，离线进行编码。