[发明专利]一种基于概率的MobileNetV1网络通道剪枝方法

说明书

本发明提出一种基于概率的MobileNetV1网络通道剪枝方法。分为三步：预训练，剪枝，融合。预训练阶段：利用交叉熵损失和BN缩放因子的L1损失进行训练，得到预训练模型。剪枝阶段：利用MobileNetV1网络结构设计时使用BN和ReLU的特性，计算每个BN通道输出小于0的概率，并将概率大的通道进行剪枝。融合阶段：因为被剪枝的通道对于准确率的影响通常存在于深度卷积输出层BN的偏移因子中，本发明将其融合到下一层BN的偏移因子中，得到最终的剪枝网络。实施本发明，能够加快剪枝的获取时间，减少网络的运算量，同时尽可能的保持和预训练网络相同的准确率。

技术领域

本发明涉及神经网络剪枝算法领域，尤其涉及基于概率的MobileNetV1剪枝算法。

背景技术

卷积神经网络(CNN)在计算机视觉领域能够实现非常高的识别和检测准确率，因此受到了工业界的广泛关注。但是，卷积神经网络运算的速度影响了最终的硬件部署。在获得高准确率的同时，如何加速神经网络计算是一个十分重要的问题。MobileNetV1的提出(请参考：Howard AG,Zhu M,Chen B,et al.Mobilenets:Efficient convolutionalneural networks for mobile vision applications[J].arXiv preprint arXiv:1704.04861,2017.)，初步减少了神经网络的计算量。但是在一个给定的任务中，给定某个网络的情况下，并不是所有的通道对输出都很重要，可以删除部分对最终输出影响很小的通道。目前流行的剪枝方法关于通道重要性的判断只利用了网络设计里面BatchNormalization(BN)层的缩放因子，未充分考虑到BN层的偏移因子和神经网络的架构设计；并且这些剪枝方法需要三个流程：预训练、剪枝、调优，导致整个剪枝算法流程所需要的时间巨大。从以上角度出发，本发明的通道重要性判断方法同时考虑了BN的缩放因子、偏移因子和BN层后面的ReLU层；并且将被剪枝通道包含的运算融合到下层卷积的偏置因子中，以移除调优流程。本发明利用网络设计里面常用的BN层和ReLU层的数学性质，在给定任务中，计算出某个通道可以被删除的概率。同时，删除通道之后，在给定任务中的性能可能会有所下降，本发明提出了融合偏移因子。即对于被剪枝的通道，其对下层计算的贡献经常集中在BN的偏移因子上。将该偏移因子所涉及的计算融合到下一层BN层的偏移因子中，相较不融合的方法能够得到更高准确率的剪枝MobileNetV1模型，且融合过程不需要额外的参数。最后不需要调优阶段，提升了剪枝算法整个流程的速度。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于概率的MobileNetV1网络通道剪枝方法，充分利用网络设计中的BN层和ReLU层，从概率的角度选择通道进行剪枝，减去更应该被剪枝的通道；同时融合深度卷积在剪枝之后存在的常数计算到下一层BN的偏移因子中；移除调优阶段，加快整个剪枝算法的时间。

为了解决上述技术问题，本发明实施例提供了一种基于概率的MobileNetV1网络通道剪枝方法，所述方法包括以下步骤：

步骤S1、给定训练集和测试集，在MobileNetV1的训练过程中，除了计算预测标签和真实标签的交叉损失函数loss_cls，还另外计算BN缩放因子的L1损失函数loss_norm；利用这两个损失函数进行梯度的计算，并更新MobileNetV1的参数；得到预训练模型；

步骤S2、给定参数z∈[2,4]，定义Z＝β+z×|γ|；其中β、γ分别是BN层的可训练参数：偏移因子和缩放因子；并计算步骤S1的预训练模型中所有BN层每个通道的Z；