[发明专利]一种适用于图像识别的卷积神经网络模型压缩方法

权利要求书

1.一种适用于图像识别的卷积神经网络模型压缩方法，所选待压缩的卷积神经网络包含一个以上的卷积层，并且在每个卷积层中都存在一个以上卷积核过滤器，每个卷积核过滤器都存在一个以上通道，每个通道都是一个卷积核，每个卷积核都与一个输入特征图相对应，其特征在于，所述的压缩方法包括以下步骤：

S1、确定所选需要压缩的卷积神经网络的四维张量；

S2、计算所选需要压缩的卷积神经网络中每层卷积层的卷积核参数量，并将卷积层的卷积核参数量按照从大到小的顺序排序，从而确定卷积层裁剪的先后顺序，该卷积层裁剪的先后顺序为从卷积神经网络中卷积核参数量最多的卷积层向卷积核参数量最少的卷积层方向裁剪；

S3、在每一个卷积层中，将卷积核绝对值之和的大小作为卷积核重要性的评价标准，计算每个卷积核绝对值之和，并将其排序，同时绘制卷积核L1范数曲线图，确定卷积核裁剪阈值，将卷积核绝对值较小的卷积核裁减掉，最终完成所有卷积核裁剪操作。

2.根据权利要求1中所述的一种适用于图像识别的卷积神经网络模型压缩方法，其特征在于，所述的步骤S1中确定的卷积神经网络四维张量，表示为MxNxWxW，其中M是卷积核过滤器的数量，N是每个卷积核过滤器存在的通道数，WxW是一个二维矩阵的卷积核，W表示卷积核的长和宽。

3.根据权利要求2中所述的一种适用于图像识别的卷积神经网络模型压缩方法，其特征在于，所述的步骤S2过程如下：

S21、首先计算所需要裁剪的卷积神经网络每个卷积层的卷积核参数量，并将数据存储在数据集合中，按照降序的方法排序，每个卷积层卷积核参数量的计算公式如式(1)所示：

Y＝W×W×N×M (1)；

S22、根据所有卷积层卷积核参数量的降序排序结果，确定卷积核参数量从多到少所对应的卷积层的顺序；

S23、并以此顺序作为卷积核裁剪的最大值裁剪顺序，开始每个卷积层的卷积核裁剪操作。

4.根据权利要求1中所述的一种适用于图像识别的卷积神经网络模型压缩方法，其特征在于，所述的步骤S3过程如下：

S31、首先设置一个数据集合，用来存储卷积核绝对值之和的数据，计算当前层所有卷积核绝对值之和并将数据存入到数据集合中；

S32、将数据集合中的数据按照升序的方式排序，同时绘制卷积核L1范数曲线图，并确定卷积核裁剪阈值；

S33、将集合中绝对值之和最小的卷积核裁减掉，并将其数据从数据集合中删除；

S34、判断当前层卷积核裁剪数是否小于裁剪阈值，如果小于裁剪阈值，则返回步骤S33，否则进入步骤S35；

S35、将裁剪后待压缩的卷积神经网络微调训练两次，其微调训练过程为先对待压缩的卷积神经网络的参数进行初始化，并缩小卷积神经网络的学习率到初始学习率的1/10，然后进行卷积神经网络训练；

S36、测试卷积神经网络的准确率，将得到的准确率与判断阈值进行比较，如果卷积神经网络的准确率小于事先设定的判断阈值，则返回步骤S32，重新确定卷积核裁剪阈值，否则进入步骤S37；

S37、完成当前卷积层的卷积核裁剪任务，按照最大值裁剪的顺序进入到下一个卷积层进行卷积核裁剪操作，直至完成所有卷积核裁剪操作。

5.根据权利要求4中所述的一种适用于图像识别的卷积神经网络模型压缩方法，其特征在于，所述的判断阈值设定为压缩后的卷积神经网络的准确率比压缩前的卷积神经网络的准确率少1％。