[发明专利]基于神经网络相邻结构依存关系的网络剪枝方法

说明书

基于神经网络相邻结构依存关系的网络剪枝方法，属于神经网络模型压缩领域，该方法包含如下步骤：a)网络的通道重要性由卷积层和相邻的批量归一化(BN)层的参数共同决定；b)在某一层内部比较通道重要性，以确定待剪枝的通道；c)动态调整稀疏性正则系数，以达到预先指定的稀疏程度。使用该方法进行网络剪枝，可以得到更高的剪枝后性能，更优的剪枝后网络结构和更好的稳定性。

技术领域

本发明属于神经网络模型压缩领域，特别涉及一种神经网络的通道裁剪方法。

背景技术

近年来，随着深度学习的发展，卷积神经网络(CNN)在许多计算机视觉任务上取得了优良的性能。然而，卷积神经网络在评测时往往需要高性能的计算资源的支持，这一点便限制了其在移动设备上的应用。网络剪枝便是一种降低神经网络的计算复杂度，同时尽可能小地损失精度的网络压缩方法。在网络剪枝中，通道剪枝能够得到结构化的网络结构，可以更方便地集成到现代深度学习的框架(如PyTorch，TensorFlow等)中，因此，通道剪枝有着更广阔的实际应用前景。

一般的网络剪枝方法分为三步：1)以稀疏化正则训练一个过度参数化的大网络；2)评估网络每个通道的重要性，并裁减掉重要性较低的通道；3)微调裁剪后的模型以恢复性能。国际上对网络剪枝，尤其是通道剪枝的研究大体上可分为两类：a)基于数据的通道剪枝和b)不基于数据的通道剪枝。基于数据的通道剪枝利用训练样本决定各通道的重要性，代表工作有Povlo Molchanov等人提出的Importance estimation for neural networkpruning等。另一方面，不基于数据的通道剪枝仅根据模型的参数本身确定通道重要性，代表工作有Hao Li等人提出的Pruning filters for efficient ConvNet，Zhuang Liu等人提出的Learning efficient convolutional networks through network slimming和Yang He等人提出的Filter pruning via geometric median for deep convolutionalneural networks acceleration等。以上技术均根据网络的单层参数计算该层各通道的重要性，而忽略了相邻网络结构之间的依存关系。

发明内容

本发明的目的是解决在不影响精度的前提下，压缩神经网络的参数量和计算复杂度的核心问题。以往方法在裁剪某一层的通道时均仅考虑了单一结构的参数信息，而本发明涉及的方法核心便在于网络相邻结构之间的依存关系，因此能够更加精确地估计每个通道的重要性，从而尽可能小地损失性能，并达到更优的裁剪后网络结构。

为实现本发明的目的所采用的技术方案为，基于神经网络相邻结构依存关系的网络剪枝方法，该方法包括下述步骤：

a)卷积层和相邻的批量归一化(BN)层的参数共同决定网络的通道重要性；

定义神经网络的通道重要性为相邻卷积层和相邻的批量归一化(BN)层的参数模长的乘积；

b)在某一层内部比较通道重要性，以确定待剪枝的通道；

针对以往方法忽视网络各层间参数量级的内在差异的改进，本发明方法仅比较某一层内部各通道的重要性，并将通道重要性从大到小排序，然后裁减掉重要性小于通道重要性最大值的某一事先指定的系数(如1％)的所有通道；

c)动态调整稀疏性正则系数，以达到预先指定的稀疏程度；

本发明提出了一种动态调节稀疏化正则系数的机制，以达到预期的稀疏化程度，具体地，根据当前网络的稀疏程度确定是否增加或减小稀疏性正则系数。

本发明的优点和有益效果为，