[发明专利]一种基于联合动态剪枝的深度神经网络压缩方法

权利要求书

1.一种基于联合动态剪枝的深度神经网络压缩方法，其特征在于：包括以下步骤：

步骤1：获得卷积核动态剪枝率β和通道动态压缩率α两个超参数；

步骤2：利用卷积核动态剪枝方法，剪除卷积层中M_i(1-β)个卷积核，其中M_i为第i层卷积核个数；

步骤3：利用通道动态压缩方法，选择N_iα个通道参与训练，其中N_i为第i层输入通道数；

步骤4：训练过程中更新模型参数，使得卷积核动态剪枝收敛为通道动态压缩的子集。

2.根据权利要求1所述基于联合动态剪枝的深度神经网络压缩方法，其特征在于：步骤2包括以下步骤：

步骤21：获得同一卷积层中每一个卷积核的L1范数；

步骤22：将该卷积层中L1范数最小的M_i(1-β)个卷积核进行置零；

步骤23：反向传播中更新模型参数，然后返回步骤(21)，进行模型下一轮迭代；

步骤24：迭代完成时剪除为零的卷积核。

3.根据权利要求1所述基于联合动态剪枝的深度神经网络压缩方法，其特征在于：步骤2根据删除模型参数以降低复杂度的原则剪除迭代收敛后对卷积运算的影响小于设定阈值的卷积核。

4.根据权利要求1所述基于联合动态剪枝的深度神经网络压缩方法，其特征在于：步骤3包括以下步骤：

步骤31：利用全局平均池化方法，采样输入特征图；

步骤32：将输入特征图的采样作为预测网络的输入，计算其通道重要性函数；

步骤33：基于胜者通吃原则，将通道重要性函数权值最小的N_i(1-α)个通道置零；

步骤34：将该卷积层对应BN层的缩放因子γ替换为通道重要性函数权值；

步骤35：在反向传播中更新模型参数。

5.根据权利要求4所述基于联合动态剪枝的深度神经网络压缩方法，其特征在于：步骤32中所述预测网络采用全连接神经网络，并与训练网络独立。

6.根据权利要求1所述基于联合动态剪枝的深度神经网络压缩方法，其特征在于：步骤3中根据在不删除模型参数的同时降低复杂度的原则，选择N_iα个通道参与训练。