[发明专利]一种适用于图像识别的卷积神经网络模型压缩方法

说明书

本发明公开了一种适用于图像识别的卷积神经网络模型压缩方法，属于卷积神经网络模型压缩技术领域。本发明首先确定所选需要压缩的卷积神经网络应包含一个以上的卷积层，并且在每个卷积层中都存在多个卷积核过滤器，每个卷积核过滤器都存在多个通道，每个通道都是一个卷积核，每个卷积核都与一个输入特征图相对应；其次依次计算各个卷积层卷积核参数量的大小，确定最大值裁剪的顺序；最终按照最大值裁剪顺序，依据权重和标准对各层卷积核进行裁剪，完成所有卷积层的裁剪操作。本发明通过在权重和评价卷积核重要性的基础上，引入了最大值裁剪策略，能够弥补卷积层层间冗余差异性所带来的裁剪不彻底的问题，有效地压缩卷积神经网模型。

技术领域

本发明涉及卷积神经网络模型压缩技术领域，具体涉及一种适用于图像识别的卷积神经网络模型压缩方法。

背景技术

近年来，伴随着快速发展的深度学习理论，基于图像识别的卷积神经网络的关注度和应用爆发增长。在智能硬件方面，像现在的智能手表、AI芯片等嵌入式设备，都有着大量的基于图像识别方面的应用，这都需要庞大的卷积神经网络的应用支持。然而卷积神经网络通常有数十亿个参数，这使得采用嵌入式设备应用卷积神经网络有着非常繁重的计算量和内存负担。如何有效地压缩卷积神经网络模型，减少参数冗余，并在嵌入式设备上高效实现，是研究者们待解决的问题。

一般来说，卷积神经网络中会存在大量的数据参数和相互连接的网络层，比如熟知的AlexNet和VGGNet网络就因为存在海量的网络参数而达到了240M和540M的大小。当然，更多的数据参数和网络层方便了卷积神经网络的训练的准确度，但同时也给模型本身带来了许多问题，比如最明显的运算速率、存储和能耗高的问题，特别是应用在嵌入式设备上，会让原本就资源紧张和能耗较少的情况变得更加严重。基于这种情况，业界提出了卷积神经网络的压缩加速概念，主要是指通过减少卷积神经网络的冗余参数来减少模型大小，从而能够在不轻易降低卷积神经网络的精度的前提下使其能够在资源紧张的嵌入式设备上实现。

目前比较流行的模型压缩方法即是对卷积神经网络进行模型剪枝，模型剪枝的优化方式主要分为两类：结构化稀疏裁剪和非结构化稀疏裁剪。但是非结构化稀疏裁剪会出现结构化的输入特征图与非结构化的卷积核进行卷积运算速度变慢的情况。而结构化稀疏裁剪是依靠一些准确合适的评价标准，来裁剪掉不重要的卷积核，但是往往忽视了不同卷积层参数冗余大小不一的情况，只关注卷积核评价标准会存在裁剪不充分、不彻底的问题。

发明内容

本发明的目的是为了解决现有技术中结构化稀疏裁剪只关注卷积核评价标准而忽视了卷积层层间冗余的差异性所带来的裁剪不充分、不彻底的问题，提供一种适用于图像识别的卷积神经网络模型压缩方法。

本发明的目的可以通过采取如下技术方案达到：

一种适用于图像识别的卷积神经网络模型压缩方法，所选待压缩的卷积神经网络包含一个以上的卷积层，并且在每个卷积层中都存在一个以上卷积核过滤器，每个卷积核过滤器都存在一个以上通道，每个通道都是一个卷积核，每个卷积核都与一个输入特征图相对应，所述的压缩方法包括以下步骤：

S1、确定所选需要压缩的卷积神经网络的四维张量；

S2、计算所选需要压缩的卷积神经网络中每层卷积层的卷积核参数量，并将卷积层的卷积核参数量按照从大到小的顺序排序，从而确定卷积层裁剪的先后顺序，该卷积层裁剪的先后顺序为从卷积神经网络中卷积核参数量最多的卷积层向卷积核参数量最少的卷积层方向裁剪；

S3、在每一个卷积层中，将卷积核绝对值之和的大小作为卷积核重要性的评价标准，计算每个卷积核绝对值之和，并将其排序，同时绘制卷积核L1范数曲线图，确定卷积核裁剪阈值，将卷积核绝对值较小的卷积核裁减掉，最终完成所有卷积核裁剪操作。

进一步地，所述的步骤S1中确定的卷积神经网络四维张量，表示为MxNxWxW，其中M是卷积核过滤器的数量，N是每个卷积核过滤器存在的通道数，WxW是一个二维矩阵的卷积核，W表示卷积核的长和宽。