[发明专利]一种基于卷积核形状自动学习的图像分类网络压缩方法

说明书

本发明涉及一种基于卷积核形状自动学习的图像分类网络压缩方法，属于图像处理与识别技术领域。通过对常规卷积核中各位置的参数施加多项稀疏化正则约束，在网络训练过程中使卷积核内部参数稀疏化，根据压缩率设定剪裁阈值即可得到自动学习的卷积核形状，从而能够有效地消除卷积核内部的冗余参数。将其应用于图像分类任务，能够在保证分类准确率的同时进一步提高网络模型的压缩率，减小模型的参数量和计算量，便于在资源受限的移动设备中进行部署应用。

技术领域

本发明属于图像处理与识别技术领域，尤其涉及一种基于卷积核形状自动学习的图像分类网络压缩方法。

背景技术

图像分类与识别是机器视觉领域中的一个重要课题，早期的图像识别方法主要依赖人工提取特征，其准确性较低且对不同场景的适用性有限。随着深度学习方法的出现，卷积神经网络在图像识别、目标检测等机器视觉领域取得了巨大的成就，深层神经网络能够有效地提取到图像中的高级语义特征，已经能够达到超越人类的识别能力。

但是在网络性能提高的同时，网络结构也越来越复杂，对计算设备存储能力和运算能力的要求也越来越高，限制了其在资源受限的移动设备中的应用和发展。大规模的神经网络模型内部往往具有较大的冗余性，并不是所有的参数都对网络性能起到有效作用，过多的参数反而会导致网络收敛慢、参数过拟合等问题。为了便于神经网络的部署和应用，神经网络压缩方法越来越受到重视。

参数剪枝是一种有效的神经网络压缩方法，通过剪裁掉网络中冗余或不重要的参数，达到减小模型复杂度的效果。韦越，陈世超，朱凤华等(《基于稀疏卷积神经网络的模型剪枝方法》，计算机工程.DOI.https://doi.org/10.19678/j.issn.1000-3428.0059375)提出了一种基于稀疏卷积神经网络的模型剪枝算法，在训练过程中对卷积层和BatchNormalization(BN)层施加稀疏化正则约束，使网络权重变得稀疏，进而设定剪枝阈值，剪裁掉网络中重要性比较低的滤波器通道，并通过微调训练恢复模型的准确率，从而达到卷积神经网络压缩的目的。这种方法属于结构化剪枝方法，并且以卷积通道为最小的单元进行剪枝，但是不能去除卷积核内部的冗余参数。如果要达到更高的压缩率，则需要采用更小的剪枝单元。

发明内容

要解决的技术问题

已有的卷积神经网络稀疏化剪枝方法对整个卷积通道进行稀疏化训练，不能消除卷积核内部的冗余参数，导致网络模型压缩率较低，从而影响最终的图像分类准确率。本发明提出了一种基于卷积核形状自动学习的图像分类网络压缩方法。

技术方案

一种基于卷积核形状自动学习的图像分类网络压缩方法，其特征在于步骤如下：

步骤1：搭建用于图像分类的卷积神经网络；

步骤2：对传统卷积过程引入系数矩阵F，并在损失函数中加入权重稀疏化正则项分布均衡正则项组间均衡正则项

式中，λ₁、λ₂、λ₃是用于平衡各项的系数；

在网络训练过程中求取这三项损失函数关于系数矩阵中各项f_ij的偏导数，用于反向传播更新系数矩阵F；训练完成后得到稀疏化的系数矩阵F；

步骤3：根据预期需要达到的模型压缩率设定阈值，将低于该阈值的f_ij所对应位置的卷积核参数去除，得到各卷积层的卷积核形状；

步骤4：使用自动学习得到的具有稀疏形状的卷积核替换原有的常规卷积核，重新进行网络训练，得到最终的图像分类神经网络模型。

优选地：步骤1中的卷积神经网络为VGG。

优选地：步骤1中的卷积神经网络为ResNet。

有益效果