[发明专利]一种基于线性无关的结构化剪枝方法

说明书

本发明公开了一种基于线性无关的结构化剪枝方法，包括：根据不同的计算机视觉任务，在数据集上训练一个深度网络模型；计算某个卷积层卷积核之间的冗余性，并对每个卷积层的卷积核进行FM变换，对变换后的矩阵计算极大线性无关组；对剪枝网络所有的卷积层重复步骤二，计算每个卷积层的极大线性无关组，得到剪枝之后的模型；使用训练数据对步骤三生成的剪枝之后的模型进行微调训练，获得剪枝之后模型的权重。本发明解决了计算冗余卷积核复杂度过高的问题，即插即用，计算复杂度小；不依赖相关假设证明，适用于所有结构的网络模型，普适性更好；且能够大幅度提升模型的前向推理时间，减少模型的参数量。

技术领域

本发明公开了一种基于线性无关的结构化剪枝方法，主要用于深度神经网络模型剪枝，涉及深度学习技术领域。

背景技术

由于卷积神经网络具有特征鲁棒、泛化能力强的优点，在无人驾驶、人脸识别等领域得到了广泛应用，但是如何将复杂度高、实时性差的模型应用在实际场景中，成为各行业学者亟待解决的问题。

模型加速技术是解决该问题的方案之一，模型剪枝是模型加速领域中较为成熟、且提升效果显著的技术。结构化剪枝剪掉了网络中冗余度较高的层或者卷积核，在不损失模型精度的同时，降低模型的资源占用，缩短模型的前向推理时间。根据剪枝策略的不同，可以将其分为结构化剪枝和非结构化剪枝两种。

结构化剪枝是通过计算卷积核或者层的冗余性，剪掉冗余度较高的卷积核或者卷积层而达到模型加速的目的，结构化剪枝根据评估卷积核重要性的条件可以分为固定剪枝率的结构化剪枝和自适应的结构化剪枝，固定剪枝率的结构化剪枝一般为One-shot的剪枝方式，根据固定剪枝率，对卷积核个数进行剪枝。自适应的结构化剪枝一般为迭代的剪枝方式，根据Loss或者准确率的变化，寻找最优的剪枝率。非结构化剪枝又被称为权重剪枝，将模型的权重根据条件筛选出不重要的权重进行稀疏化，进而通过依赖于硬件资源的计算库进行模型加速。

但是当前结构化剪枝和非结构化剪枝存在着一些不足：当前L1、L2主流的结构化剪枝方法都基于“卷积核范数越小，越不重要”的假设，即要求卷积核权重分布满足偏差足够大以及减掉的权重范数足够小这两个条件。当卷积核权重分布偏差较小以及卷积核的权重范数较大时，该剪枝方法无效。自适应的结构化剪枝方法依赖准确度和Loss变化的影响，对模型进行逐层剪枝。该方法剪枝周期长，并且容易陷入局部最优，无法达到有效去除网络冗余结构的目的。非结构化剪枝方法没有从根本上减少参数量和浮点运算次数，只是将冗余的权重稀疏化，仅适用于特殊的硬件或者加速库，难以被广泛应用。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种基于线性无关的结构化剪枝方法(Maximal Linearly Independent Pruning,MLIP)。本发明重新定义了深度模型中卷积核重要性的评估条件，提出使用极大线性无关组的方式对网络的卷积核进行剪枝。本发明基于权重矩阵卷积核之间存在着冗余信息和极大线性无关组的性质，将求冗余卷积核的问题转换为极大线性无关组求解的问题。假设某卷积层的某些卷积核权重可以被其他卷积核线性表示，那么可以认为该卷积核的输出可以被其他卷积核的输出线性组合代替，从而达到剪枝的目的。

本发明为解决上述技术问题采用以下技术方案：

一种基于线性无关的结构化剪枝方法，所述方法具体包含以下步骤：

步骤一、根据不同的计算机视觉任务，在数据集上训练一个深度网络模型；

步骤二、计算某个卷积层卷积核之间的冗余性，并对每个卷积层的卷积核进行FM变换，对变换后的矩阵计算极大线性无关组；

步骤三、对剪枝网络所有的卷积层重复步骤二，计算每个卷积层的极大线性无关组，得到剪枝之后的模型；

步骤四、使用训练数据对步骤三生成的剪枝之后的模型进行微调训练，获得剪枝之后模型的权重。