[发明专利]一种基于特征图稀疏化的卷积神经网络剪枝方法

权利要求书

1.一种基于特征图稀疏化的卷积神经网络剪枝方法，其特征在于，该方法应用于农作物病害分类，具体包括以下步骤：

1)采集农作物叶子图片作为训练数据集；

2)通过步骤1)的训练数据集对卷积神经网络中的特征图进行稀疏化训练；

在训练过程中对卷积神经网络中的损失函数加入特征图的稀疏项：

其中，第一项为模型预测所产生的损失，x为网络的输入，为农作物叶子图片数据，W为网络的权重，f(x，W)为网络的输出，y为样本标签，第二项为所有激活层之后特征图的损失项，λ为控制卷积神经网络预测所产生损失与稀疏项损失比例关系的稀疏因子，l为激活层索引，L为激活层数，c为第l层激活层后特征图的通道索引，C_l为第l层激活层后的特征图的通道数，H_l，c、W_l，c分别为第l层激活层后特征图的第c个通道的高度和宽度，m_i，j为相应特征图的第(i，j)个数值；g()为L1、L2正则化或其他正则项；

L1正则化公式为：

g(m_i，j)＝||m_i，j||₁

L2正则化公式为：

g(m_i，j)＝||m_i，j||₂

通过遍历整个训练数据集计算特征图通道的均值，作为特征图的稀疏度，不同的输入样本，计算所得的特征图的稀疏度不同，同时保存特征图的稀疏度，加入特征图通道选择层，对卷积神经网络训练并使其收敛后，保存验证集最高准确度以及相应的网络权重；

3)网络剪枝；

3.1)设定初始剪枝率，并设定剪枝率上限为1，剪枝率下限为0；

3.2)将验证集准确度最高的网络权重作为卷积神经网络的权重，按照如下规则进行剪枝：

将特征图各通道的稀疏度按照从小到大的顺序排序，即sort_min→max{特征图稀疏度}，然后对各通道特征图稀疏度按照剪枝率将前n个通道对应到通道选择层的非可学习参数mask值置为0，剩余通道对应的通道选择层的非可学习参数mask值置为1；

对剪枝后的网络进行再训练，直到网络收敛，获得剪枝后的验证集最高准确度；

3.3)比较剪枝前后验证集的最高准确度，若剪枝后的验证集最高准确度大于等于剪枝前的验证集最高准确度，则将当前的剪枝率作为新的剪枝率下限，并提高剪枝率，否则将当前的剪枝率作为新的剪枝率上限，并降低剪枝率，重复步骤3.2)和步骤3.3)，直到剪枝率上限与下限的差值小于一定的阈值，则满足终止条件进入步骤4)；

4)保存剪枝后的网络：去除通道选择层，并拷贝权重数据到新的网络中，该新的网络即为剪枝后的卷积神经网络；

5)将现场采集的农作物叶子的图片输入到剪枝后的网络中，输出为农作物病害的类别。

2.根据权利要求1所述的一种基于特征图稀疏化的卷积神经网络剪枝方法，其特征在于，步骤2)中，通道选择层的构建如下：设经过某层后的特征图有C个通道，定义通道选择层C个非可学习参数mask＝[m₁，m₂，m₃，...，m_C]，m₁，m₂，m₃，...m_C分别特征图中C个通道所对应的系数，其取值为0或1；0表示该通道不能传递到后面的计算中，1表示该通道可以传递到后面的计算中。