[发明专利]一种基于特征图稀疏化的卷积神经网络剪枝方法

说明书

本发明公开了一种基于特征图稀疏化的卷积神经网络剪枝方法，涉及如何压缩卷积神经网络减少其参数量和计算量以便于实际部署；在训练过程中，通过在损失函数中增加对激活层之后的特征图L1或L2正则化，使相应的特征图通道具有不同的稀疏度，在一定剪枝率下根据特征图通道的稀疏度剪去相应通道对应的卷积核，微调剪枝后网络获得新的准确度，根据剪枝前后的准确度变化调节剪枝率，经过多次迭代，寻找近最优剪枝率，在满足准确度不下降的条件下，实现最大程度的剪枝。该方法大大减少了卷积神经网络的参数量和计算量。

技术领域

本发明涉及深度学习领域中卷积神经网络压缩技术，具体是一种基于特征图稀疏化的卷积神经网络剪枝方法。

背景技术

卷积神经网络是一种常见的深度学习网络架构，在图像分类、目标检测、图像风格迁移等诸多问题上表现出色。同时，卷积神经网络的运作模式依然是黑箱，对于特定问题如何设置网络的层数和各层的通道数并没有扎实的理论基础，人为设置的网络层数和各层通道数大部分时候会造成网络参数的冗余，进而使得卷积神经网络的计算量大、占用内存过多，不利于网络的落地应用。所以，进行卷积神经网络的模型压缩是很有必要的。

针对于卷积神经网络的模型压缩问题，前人提出了低秩分解、量化、知识蒸馏、剪枝等方法。

非专利文献1(Jaderberg M，et.al.″Speeding up convolutional neuralnetworks with low rank expansions.″Proc.arxiv，2014.)利用低秩分解的方法拆分卷积层的卷积运算，取得了4.5倍的加速效果，但是造成准确度下降1％。

非专利文献2(Gupta S，et.al.″Deep learning with limited numericalprecision.″Proc.International Conference on Machine Learning，2015.)利用16比特的定点数来训练卷积神经网络，同时实现了在MNIST数据集上准确度不下降，但文章并没有给出在更大数据集上的测试结果。

非专利文献3(Zagoruyko S，et.al.″Paying more attention to attention：improving the performance ofconvolutional neural networks via attentiontransfer.″Proc.arxiv，2016.)采用特征学习的方式，使得一个小型卷积神经网络学习道一个大型神经网络的特征，进而实现压缩模型的目的，但是，小型卷积神经网络设置多少层数和各层通道数比较合适，仍然是一个尚未解决的问题。

为了加快卷积神经网络的计算，降低网络计算对硬件设备的要求，从卷积神经网络特征图的稀疏化角度出发，设计了一种结构化剪枝方法。

发明内容

本发明针对现有技术的不足，提供一种基于特征图稀疏化的卷积神经网络剪枝方法。

VGG、ResNet等常见的卷积神经网络都是按照卷积层、批归一化层、非线性激活层的顺序重复叠加构成的。将每组卷积层、批归一化层、非线性激活层构成的单元作为作为卷积神经网络的特征提取单元，这些特征提取单元按照卷积神经网络的深度方向顺序排列。一组特征提取单元的输出特征图作为下一组特征提取单元的输入特征图。

本发明解决技术问题所采用的技术方案如下：一种基于特征图稀疏化的卷积神经网络剪枝方法，该方法包括以下步骤：

1)对卷积神经网络中的特征图进行稀疏化训练；

在训练过程中对卷积神经网络中的损失函数加入特征图的稀疏项，所述特征图的稀疏项如下：