[发明专利]基于高斯分布特征的深层卷积神经网络压缩加速方法

权利要求书

1.基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：具体包括以下步骤：步骤1，基准模型训练；训练好一个需要进行模型压缩剪枝的卷积神经网络，生成模型压缩的基准模型，同时为接下来的分析提供基础压缩原始模型，并用于模型压缩结束后进行压缩效果评估的基准；

步骤2，模型卷积核提取与高斯分布拟合；对基准模型进行逐层提取卷积核，之后对每一层的卷积核的高斯拟合；对拟合后的卷积核Fi进行高斯分布分析，提取分析结果，通过分析的结果来引导该层的剪枝；每一次提取模型的一层卷积核；

步骤3，根据高斯分布拟合的特征进行卷积核裁剪；卷积核裁剪与模型性能恢复。

2.根据权利要求1所述的基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：步骤3中，步骤3.1，针对步骤2分析的结果，拟合后的模型，在模型训练的过程中呈现向高斯分布的某一中心收敛；根据步骤2的结果选择高斯分布的中心为模型收敛中心，向两端拓展为模型的收敛区间，而在该收敛区间外的该层卷积核将被视为冗余部分，将被裁剪掉并丢弃，即裁剪在分布收敛区间之外的卷积核；分布收敛区间从模型的最大区间到最小区间采用网格算法的方式进行搜索；

步骤3.2，模型性能恢复；对该裁剪的卷积层进行重训练，而对其他剩下的卷积层进行模型微调训练，直到模型性能恢复；此时存在两种情况，模型性能恢复与模型性能无法恢复；

情况一：模型性能恢复正常；模型性能恢复正常说明该层的裁剪是有效的，同时表明该层的卷积核仍然可能存在一定的冗余；此时仍然回到步骤3.1，对该层的收敛区间进行缩小，直到寻找到最小的收敛区间，该层的裁剪才结束；

情况二：模型性能无法恢复；如果该次的裁剪结果无法实现模型的性能恢复，可能是本层裁剪过度或者是上一层的裁剪过度而导致模型无法恢复；

本层裁剪过度；回到步聚3.1，调整增大该层上一次的收敛区间，如果模型精度能够恢复，则表明寻找到该层的最佳模型压缩收敛区间；

上一层的裁剪过度；在进行本层裁剪过度恢复处理的过程中，会调整该层的分布收敛区间，如果分布收敛区间调整到最大，模型的精度仍然无法收敛，并累计出现3次及其以上，那么说明上一层的模型裁剪过大而导致该层无法收敛，则对上一层的裁剪结果进行重新调整，即扩大上一次即上一层卷积层分布收敛区间；

步骤3.3，回去步骤2，继续进行迭代，直到网络的所有层裁剪结束；在裁剪的过程中，裁剪的方向是从模型的前端裁剪到模型的末端或者是从模型的末端裁剪到模型的前端。

3.根据权利要求1所述的基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：还包括步骤4，模型微调训练。