[发明专利]一种卷积神经网络的压缩方法及其实现电路

说明书

本发明提出一种卷积神经网络的压缩方法及其实现电路，该方法包括步骤：(1)将卷积神经网络分为非剪枝层和剪枝层；(2)对整个卷积神经网络进行剪枝，然后重新训练，得到一个高精度的稀疏网络；(3)移除非剪枝层的权重掩膜；(4)对剪枝层进行渐进量化；(5)保持剪枝层权重不变，对非剪枝层进行线性量化，得到压缩后的卷积神经网络。该压缩方法能在保证高处理性能的情况下对卷积神经网络模型进行大幅压缩。针对此压缩方法，本发明还提出一种卷积神经网络的实现电路，包括：分布式非剪枝层硬件处理电路和剪枝层硬件处理电路，两个电路以流水线的方式共同实现卷积神经网络，以形成流水线的处理模式，大幅改善处理性能。

技术领域

本发明涉及深度学习加速器设计领域，具体涉及一种卷积神经网络的压缩方法及其实现电路。

背景技术

随着卷积神经网络在目标检测及识别的快速发展，大幅改善图像识别检测精确度成为可能。然而，为了实现更好的目标检测识别性能，卷积神经网络在不断地加深，带来则是计算量的急速增长和模型大小的膨胀。因此，卷积神经网络需要并行设备来对其进行加速，节省训练时间或者满足实时目标检测的要求，例如大功耗的GPU设备等。为了实现深度卷积神经网络在低功耗的嵌入式设备上的部署，基于FPGA的卷积神经网络加速设计已经成为学术界和工业界研究的重点。

膨胀的深度神经网络模型对存储有着很高要求，为了节省存储空间，神经网络模型压缩算法在近几年不断被提出。神经网络剪枝，权重量化等压缩算法由于其对精确度较小的影响，被广泛使用在神经网络模型压缩中。然而大量研究表明，由于剪枝算法造成的模型不规则性，导致神经网络并行计算效率低，对其处理速度造成了严重的影响。因此，需要一种适合硬件加速的压缩策略，使卷积神经网络在模型尺寸被大幅压缩的情况下，仍然保持高性能的处理速度，同时满足实时性检测和小模型尺寸的要求。

发明内容

发明目的：大规模神经网络模型尺寸庞大，存储资源消耗巨大，难以在嵌入式设备上实现。然而压缩后的神经网络由于其模型的不规则性，在并行加速架构上计算效率低，计算速度慢，为了克服这个缺陷，本发明提出一种卷积神经网络的压缩方法及其实现电路。

技术方案：本发明提出的技术方案如下：

一种卷积神经网络的压缩方法，包括依次执行的步骤(1)至(5)：

(1)将卷积神经网络分为非剪枝层和剪枝层；

(2)对整个卷积神经网络进行剪枝，然后重新训练，得到一个高精度的稀疏网络；

(3)移除非剪枝层的权重掩膜；

(4)对剪枝层进行渐进量化，具体步骤为：

1)随机选取剪枝层中的一组权重进行量化；

2)重新训练卷积神经网络，更新剪枝层中其他组的权重和非剪枝层的权重，重复训练过程，直至卷积神经网络的精度满足预设要求；

3)随机选取剪枝层中的下一组权重进行量化，然后返回步骤3)；

4)重复执行步骤2)至3)，直至整个剪枝层量化完成；

(5)保持剪枝层权重不变，对非剪枝层进行线性量化，得到压缩后的卷积神经网络。

进一步的，所述步骤(2)中得到一个高精度的稀疏网络的具体步骤为：

设置剪枝阈值，将卷积神经网络中小于剪枝阈值的权重进行剪枝，然后重训练卷积神经网络，更新没有被剪切的权重，重复训练-剪枝过程，直至卷积神经网络中所有权重都小于剪枝阈值，至此，得到一个高精度的稀疏网络。