[发明专利]一种用于卷积神经网络的压缩算法

说明书

本发明公开了一种用于卷积神经网络的压缩算法，步骤1：构建压缩标定模块；步骤2：将所述压缩标定模块嵌入到原始卷积神经网络中，构建带压缩标定的卷积神经网络；步骤3：对构建的所述带压缩标定的卷积神经网络进行训练，得到训练好的带压缩标定的卷积神经网络中每个卷积核的标定值；步骤4：将标定值小于阈值的卷积核裁剪掉，得到裁剪后的带压缩标定的卷积神经网络；对裁剪后的带压缩标定的卷积神经网络进行训练，得到第一压缩网络；步骤5：处理所述第一压缩网络，得到压缩后的卷积神经网络。本发明的方法利用卷积核之间的相互依赖关系，与现有的卷积神经网络压缩方法相比，本发明方法具有更高的压缩比和更低的精度损失。

技术领域

本发明属于数字图像处理领域，具体涉及一种用于卷积神经网络的压缩算法，可用于卷积神经网络模型的压缩。

背景技术

卷积神经网络已经成为解决计算机视觉任务的较先进的技术。尽管如此，卷积神经网络算法中的卷积操作需要大量的计算资源和存储资源的支持，这使得它难以被部署到只有有限硬件资源的嵌入式终端处理系统上。为了解决该技术问题，可通过压缩卷积层的卷积核数量以显著减少神经网络所需要的计算和存储需求。在当前的卷积神经网络训练方式下，所训练好的模型中有严重的特征冗余，因而，在不损失精度的情况下对卷积层的卷积核数量进行压缩可减少卷积神经网络对计算存储资源的需求。

现有的卷积神经网络压缩方法主要有两大类，一是通过观察卷积层的数值大小进行的，如果某个特征通道中0的数量较多，则认为该特征通道是冗余的，从而删除此通道以节省计算时间和存储空间；二是通过观察卷积核在网络的作用，如果将某个卷积核裁掉而对后续的卷积层不会差生较大影响，就可以认为该卷积核是可裁剪的。但是上述两种卷积神经网络压缩方法并不能利用到卷积核之间的关联性，因而其难以同时保证高的压缩比和精度。综上所述，寻找一种能够利用卷积核之间的关联性进行卷积神经网络压缩的算法是很有必要的。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种用于卷积神经网络的压缩算法，相较于其他方法，该方法具有更高的压缩比和更低的精度损失。为了实现上述目标，本发明采用如下的技术方案：

本发明实施例提供一种用于卷积神经网络的压缩算法，包括如下步骤：

步骤1：构建压缩标定模块；

步骤2：将所述压缩标定模块嵌入到原始卷积神经网络中，构建带压缩标定的卷积神经网络；

步骤3：对构建的所述带压缩标定的卷积神经网络进行训练，得到训练好的带压缩标定的卷积神经网络中每个卷积核的标定值；

步骤4：将标定值小于阈值的卷积核裁剪掉，得到裁剪后的带压缩标定的卷积神经网络；对裁剪后的带压缩标定的卷积神经网络进行训练，得到第一压缩网络；

步骤5：处理所述第一压缩网络，得到压缩后的卷积神经网络。

在一个具体的实施例中，所述压缩标定模块包括依次连接的平均池化层、全连接层、ReLU激活层、恢复压缩的全连接层和Sigmoid激活层，其中，

所述平均池化层的大小为c×h×w，输出维度为c×1×1，其中c为特征图的通道数，h为卷积操作所形成特征图的高，w为卷积操作所形成的特征图的宽；

所述全连接层一个压缩比为16的全连接层组成，输出维度为其中c为特征图的通道数；

所述ReLU激活层的输出维度为其中c为特征图的通道数，ReLU激活层的数学表示为：

f(x)＝max(0,x)

其中，x是所述压缩标定模块的全连接层的输出；

所述恢复压缩的全连接层的输出维度为c×1×1，其中c为特征图的通道数；