[发明专利]一种基于联合动态剪枝的深度神经网络压缩方法

说明书

本发明公开一种基于联合动态剪枝的深度神经网络压缩方法，包括以下步骤：步骤1：获得卷积核动态剪枝率β和通道动态压缩率α两个超参数；步骤2：利用卷积核动态剪枝方法，剪除卷积层中M_i(1‑β)个卷积核；步骤3：利用通道动态压缩方法，选择N_iα个通道参与训练；步骤4：训练过程中，更新模型参数，使得卷积核动态剪枝收敛为通道动态压缩的子集。本发明加速了训练和推理，保持模型的容量同时有效地减少了模型的浮点运算次数以及参数规模。

技术领域

本发明涉及一种神经网络压缩方法，尤其涉及一种基于联合动态剪枝的深度神经网络压缩方法。

背景技术

深度学习推动了计算机视觉、自然语言处理等方面的进步同时，其模型的复杂度、高额的存储空间以及计算资源消耗使其难以被应用在各种硬件平台上。例如经典的图像分类网络VGG16，参数数量多达1.3亿，占用存储空间500MB，需要进行309亿次浮点运算才能完成一次图像识别任务。实际上深度学习的神经网络中存在很大程度的冗余，仅使用很少一部分权值就可以预测剩余的权值。因而，模型压缩在理论上存在可行性，在现实中也存在着必要性。

网络剪枝是模型压缩领域中较为热门的一个方向，其原理是移除网络中较为不重要的权重，再重新微调网络使之收敛。因而，如何衡量权重的重要性成为了网络剪枝的核心问题。静态剪枝方法，无论参数选择标准、剪枝训练过程有何差别，有一点是共通的：被剪枝的参数被永久移除模型，后续不再参与推理和训练。尽管网络中大部分参数是多余的，静态剪枝方法仍然会永久性地移除一部分关键性参数，无论采取何种评判标准都难以避免误剪枝，这样必然导致网络容量的损失。

相比于静态剪枝方法，动态剪枝的目的是保留被剪枝部分的能力，避免永久性的剪枝导致模型的容量降低。思想与深度学习防止过拟合的dropout方法类似，只不过动态剪枝设计某种标准用来衡量输入图像与卷积核的关系，而非简单的随机丢弃。对于特定的输入图像，能够被激活的卷积核是存在并有限的。然而，动态剪枝算法的独特之处是动态选择，但也恰恰制约了其压缩网络的能力。理论上来说，对于某一特定的输入图像，被激活的卷积核是固定的。但是对于不确定的输入图像，被激活的卷积核也不能被确定。由于神经网络构建和训练的过程中难以得知输入图像的特征分布，因而如果永久性移除部分卷积核，那么一旦这些卷积核被特定的输入图像激活，对于模型容量仍然是不小的损失。因而，动态剪枝算法很难永久性地移除卷积核，导致网络压缩比明显小于静态剪枝算法。

发明内容

发明目的：本发明旨在解决现有技术的上述不足，提供一种基于联合动态剪枝的深度神经网络压缩方法，解决静态剪枝方法导致网络容量的损失和动态剪枝方法网络压缩比明显小于静态剪枝算法的问题。

技术方案：本发明所述的基于联合动态剪枝的深度神经网络压缩方法，其特征在于：包括以下步骤：

步骤1：获得卷积核动态剪枝率β和通道动态压缩率α两个超参数；

步骤2：利用卷积核动态剪枝方法，；剪除卷积层中M_i(1-β)个卷积核，其中M_i为第i层卷积核个数；

步骤3：利用通道动态压缩方法，选择N_iα个通道参与训练，其中N_i为第i层输入通道数；

步骤4：训练过程中更新模型参数，使得卷积核动态剪枝收敛为通道动态压缩的子集。

步骤2包括以下步骤：

步骤21：获得同一卷积层中每一个卷积核的L1范数；

步骤22：将该卷积层中L1范数最小的M_i(1-β)个卷积核进行置零；

步骤23：反向传播中更新模型参数，然后返回步骤(21)，进行模型下一轮迭代；

步骤24：迭代完成时剪除为零的卷积核。