[发明专利]一种通用的卷积神经网络无损压缩与加速方法

权利要求书

1.一种通用的卷积神经网络无损压缩与加速方法，其特征在于：该方法分为以下几个部分：基准卷积神经网络模型、无损压缩器、性能恢复；

步骤1，输入原始卷积神经网络模型；

对原始卷积神经网络模型进行训练，用于获取具有推理性能的基准卷积神经网络模型，该基准卷积神经网络模型将被用于压缩前后的压缩加速性能的对比与步骤2中的结构化压缩器的模型结构化剪枝；

步骤2，输入原始模型，对原始卷积神经网络模型进行无损压缩；

步骤2.1采用结构化压缩器对原始卷积神经网络模型进行结构化剪枝压缩；采用步骤1的基准模型进行结构化压缩；

步骤2.2采用模型重塑器对原始卷积神经网络模型进行性能恢复；

采用步骤2.1压缩后的原始卷积神经网络模型进行模型重塑，由于步骤2.1采用的是结构化压缩方法，精简优化原始卷积神经网络模型的结构，使得原始卷积神经网络模型具有更少的卷积核；将对压缩后的模型结构中，丢失卷积核比较明显的层进行模型结构重塑；

步骤3，对原始卷积神经网络模型进行性能恢复；

通过无损压缩器优化后的模型，无论是结构还是参数上，都达到了模型相对精简的程度，但由于剪枝压缩后，结构与参数内部信息存在一定的损坏，在对模型进行重塑后，原始卷积神经网络模型的结构出现了一定程度的变化，对卷积层的各层的相关性产生一定的影响；完成对原始卷积神经网络模型的有效参数部分的性能恢复，使得卷积神经网络模型能够尽可能的恢复原来模型推理性能，保证原始卷积神经网络模型在精简的结构下具有精简的参数而不损失模型性能从而实现对模型极大压缩；性能恢复的策略两种：对原始卷积神经网络模型进行重新初始化或者微调；以上两种策略都能够被用来进行该步骤的性能恢复；此时存在两种情况，卷积神经网络模型性能能够恢复与模型性能无法恢复；

步骤3.1模型性能恢复达到甚至优于未压缩前的状态；

如果通过步骤3，对经过无损压缩器压缩的卷积神经网络模型进行性能恢复，卷积神经网络模型能够恢复甚至优于未压缩状态的性能，则可以直接输出精简的卷积神经网络模型；

步骤3.2模型性能恢复达不到未压缩前的状态；

如果通过步骤3，通过性能恢复训练之后，模型性能低于未压缩状态，则表明模型的精简粒度过大，导致模型出现永久破坏性性能；重新调整压缩力度，即回到步骤2.2，降低压缩的比例，重新进行压缩。

2.根据权利要求1所述的一种通用的卷积神经网络无损压缩与加速方法，其特征在于：步骤2.2.1对原始卷积神经网络模型各层压缩的比例进行排序；

步骤2.2.2对压缩比例最大的部分对应的卷积层进行模型重塑。