[发明专利]基于感受野准则的过滤器修剪方法

权利要求书

1.基于感受野准则的过滤器修剪方法，其特征在于，包括以下步骤：

S1：构建感受野准则RFC，感受野准则是去衡量一个卷积核的重要性程度；

S2：通过全局自适应滤波器搜索GAFS对模型进行全局剪枝。

2.根据权利要求1所述的基于感受野准则的过滤器修剪方法，其特征在于，所述S1包括以下子步骤：

S11：设输入图像的数量N∈R和类的数量V∈R，M^(i,j)∈R^hi×wj是在激活函数之后由第i层中的第j滤波器从第k图像生成的通道，是一个由通道标签对组成的集合，其中M^(i,j)(k)是通道，v_k∈{1,2,...,V}是相应的类别标签；

S12：将L2范数应用于每个通道，并获得响应分数集以表示第j个卷积核对所有图像的激活响应，

其中m是对应通道的元素；

选择具有最高k％激活响应的通道和输入图像的相应标签：

其中sort(·)_k％是由前k％元素组成的集合；由获得了标签集V^(i,j)＝{v_k}；

S13：{v_k}用于生成相应滤波器的最大响应概率分布，设|v^(i,j)|为集合V^(i,j)中的元素数，此外，表示属于类别n的元素的数量，将这些标签的频率转换为概率，最大响应概率设置：

当才会让概率p进入下一步计算，利用这些最大响应概率，我们进一步去得到我们的RFC准则；

S14：根据若这个特征存在于多数类别中，那么这个特征对于去判断这些类别就没有用，所以我们将这个性质转化为均匀性。即过滤器对于全部类别响应越均匀则越冗余。而信息熵可以去衡量均匀性，所以我们使用我们最大响应概率去计算信息熵。设为第i层中第j个滤波器的信息熵：

这里，分数函数T由确定，可以去确定不同过滤器的重要性，并且该集合T⁽ⁱ⁾＝{H^(i，j)|j＝1，2，...，O⁽ⁱ⁾}表示第i层中的所有滤波器的信息熵，其中O⁽ⁱ⁾是第i层中的滤波器的数目，选择具有底部a％值的H^(i，j)卷积核来构造卷积核集：

其中是第i层中的第j个卷积核，可以使用上式中的卷积核重建网络。

3.根据权利要求1所述的基于感受野准则的过滤器修剪方法，其特征在于，所述S2包括以下子步骤：

S21：通过过滤器准则获得所有卷积核的分数集；

S22：通过临时移除层内分数的最低的λ，粒度因子，对应的卷积核来记录精度变化Δ_acc和网络输出向量Δ_cos变化，即度量网络输出向量变化使用余弦相似性，其中g为原网络输出向量，gi为剪枝第i层网络输出向量，然后计算两者可以得到该层的冗余度R_i＝Δ_acc+3Δ_cos，1：3的比例为实验得出；

S23：当该层记录完后，将该层恢复到移除之前的状态；

S24：这种“删除-记录-恢复”操作逐层重复，R_i变化越小，层的冗余度就越大，挑选出最冗余的层第I层，公式为W为总卷积层数，这一次剪枝仅仅在第I层中进行，为了保持前后一致，在第I层中剪掉λ，λ＝1/2的filter每一次只剪枝一层的操作不会引起在不同层同时剪枝的语义问题；

S25：如果λ一直固定不变，则会在造成过度剪枝，即当对64个filter进行剪枝时候，如果λ一直为1/2则只能剪枝一半，变成filter为32个，但是最优结构在32-64之间，这样会导致过度剪枝，引入一个参数ε去控制λ什么时候变小，控制公式如下：

因为R_I＜ε时候，意味着剪枝最冗余层I并不会造成过度剪枝，继续保持粒度λ不变；当R_I≥ε时候，意味着剪枝最冗余层I都会造成过度剪枝，所以应该减半λ以减少剪枝粒度，并且在这一步中不执行剪枝重新；然后以减半后的λ重新开始步骤S21-S25完成剪枝。