[发明专利]基于多级剪枝的结构化网络模型压缩加速方法

说明书

本发明公开了一种基于多级剪枝的结构化网络模型压缩加速方法，属于模型压缩加速技术领域。本发明包括如下步骤：获取预训练模型，训练得到初始完备网络模型；测量卷积层敏感度，通过控制变量获得各个卷积层的敏感度‑剪枝率曲线；按照敏感度次序从低到高进行单层剪枝，微调重训练网络模型；选取样本作为验证集，测量滤波器输出特征图的信息熵；根据输出熵大小次序进行迭代柔性剪枝，微调重训练网络模型；硬性剪枝，对网络模型进行重训练恢复网络性能，得到并保存轻量级模型。本发明可以在保持原有网络性能的前提下，对大规模卷积神经网络进行压缩，能够缩减网络的本地内存占用，减少运行时的浮点运算和显存占用，实现网络的轻量化。

技术领域

本发明涉及模型压缩加速技术领域，具体涉及一种基于多级剪枝的结构化网络模型压缩加速方法。

背景技术

深度卷积神经网络广泛应用在计算机视觉和自然语言处理等相关领域，获得了巨大的成功，随着人们对卷积神经网络的关注度越来越高，越来越多层次更多、结构更复杂的网络如雨后春笋般出现，应用到了越来越多的研究领域，也对硬件设备的发展提出了更高的要求。

随着深度学习的飞速发展，硬件条件的提升并非那样迅速，卷积神经网络的发展依赖于如今计算机设备运算能力的提高和存储空间的增大，尤其是图像处理器的并行计算能力提升。由于神经网络的运行需要消耗大量的存储空间，产生巨大的浮点运算，使得神经网络在移动嵌入式设备上的运行显得非常困难。以经典的VGG-16网络为例，识别一张224*224大小的彩色图片，仅原始网络的参数数量达到了1亿3千万之多，占用逾520MB的存储空间，进行一次前向传播时中间的特征图将会占用近13MB的存储空间，进行逾309亿次的浮点运算。巨大的代价严重制约着卷积神经网络的在嵌入式设备上的应用。

近年来许多研究表明，神经网络实际上存在着巨大的冗余参数，即过参数化，在实际部署时有巨大的优化空间，证明了模型压缩的现实可行性。模型剪枝作为一种高效、普适性强的模型压缩方法被广泛研究，但是现有的剪枝方法实现的压缩效果非常有限，许多参数级的剪枝算法并不能获得实际上的压缩存储和减少运算，许多滤波器级的剪枝算法往往难以兼顾参数缩减和实际的网络加速。因此，设计一种高效的结构化网络模型压缩算法显得尤为重要。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种更加高效、域适应能力更强的模型压缩加速的方法。

本发明的一种基于多级剪枝的结构化网络模型压缩加速方法，包括如下步骤：

S1：获取预训练模型，在训练数据集上对待处理的原始网络模型进行训练，得到完备网络模型；

S2：基于预训练模型，测量原始网络模型的卷积层敏感度，通过控制变量法获得各个卷积层的敏感度-剪枝率变化曲线；

S3：敏感度层间迭代剪枝，按照敏感度次序从低到高对当前网络模型进行单层剪枝，微调网络模型；

S4：测量滤波器重要性指数，选取样本作为验证集，测量当前网络模型的滤波器输出特征图的信息熵，即输出图像熵；

S5：图像熵迭代剪枝，根据输出图像熵大小次序对当前网络模型进行迭代柔性剪枝，微调重训练模型；

S6：硬性剪枝，对当前网络模型进行重训练，得到并保存轻量级模型。

其中，步骤S1包括如下步骤：

S11：初始化待处理的网络模型的原始网络参数；

S12：在训练集上进行预训练，获取完备网络模型。

其中，步骤S2包括如下步骤：

S21：设定最大剪枝率范围和剪枝率增长步幅；

S22：采用控制变量法对卷积层进行逐层敏感度计算，得到第i卷积层的敏感度系数S_i：