[发明专利]一种基于注意力区域选择的深度模型压缩方法

权利要求书

1.一种基于注意力区域选择的深度模型压缩方法，其特征在于，包括以下步骤：

步骤1：提取教师网络和学生网络的指定层的输出作为待计算特征图；

步骤2：应用注意力函数计算所述特征图的注意力图；

步骤3：应用区域选择算法计算出选择的区域；

步骤4：学生网络和教师网络同时提取选中的区域的注意力图；

步骤5：学生网络通过学习该区域的信息得到教师网络的能力。

2.根据权利要求1所述的基于注意力区域选择的深度模型压缩方法，其特征在于，步骤1中所述教师网络为基于ResNet152-FPN的Faster R-CNN，所述学生网络为基于ResNet34-FPN的Faster R-CNN。

3.根据权利要求2所述的基于注意力区域选择的深度模型压缩方法，其特征在于，选择用于蒸馏的层为FPN的最高层。

4.根据权利要求1所述的基于注意力区域选择的深度模型压缩方法，其特征在于，步骤2中所述注意力函数为：

定义一个卷积层，与该层相关的激活张量为其中F为相关层的激活函数，其输入的维度为(H,W,C)，H,W表示特征图的宽度和高度，C表示通道的数量，输出为一张注意力图，大小为H×W，A_i＝A(i；:；:)为Matlab表示法，表示张量A的第i个通道，A_i的维度为H×W，表示输入为激活张量A，上标p表示为p次方，下标sum表示求和。

5.根据权利要求1所述的基于注意力区域选择的深度模型压缩方法，其特征在于，步骤3具体包括以下步骤：

步骤3.1：得到预测框和真值框的IOU值，对于每一个预测框，计算其与每一个真值框的IOU值并添加到IOUs中；

步骤3.2：取IOUs中最大的IOU，maxIou，并设置fai值为0.5；

maxIou←MAX(IOUs)

步骤3.3：过滤掉IOU值小于threshold＝maxIou×fai的预测框；

步骤3.4：对选取的所有IOU值大于阈值threshold的预测框进行或操作，得到最终的掩码mask，也就是选定的区域。

6.根据权利要求5所述的基于注意力区域选择的深度模型压缩方法，其特征在于，mask为一个由0，1组成的矩阵，维度为H×W。

7.根据权利要求5所述的基于注意力区域选择的深度模型压缩方法，其特征在于，或操作表示按位或的操作，只要是预测框包含到的位置都置为1。

8.根据权利要求1所述的基于注意力区域选择的深度模型压缩方法，其特征在于，步骤4中提取选中的区域的注意力图：

Mask(mask,t)＝mask点乘

Mask(mask，s)＝mask点乘

其中，t,s分别表示教师网络和学生网络卷积层的激活张量，Mask(mask,t)和Mask(mask,s)分别为教师网络和学生网络选定区域的注意力图。

9.根据权利要求1所述的基于注意力区域选择的深度模型压缩方法，其特征在于，步骤5具体包括以下步骤：

步骤5.1：学生网络的区域选择损失函数：

mask是区域选择的掩码，N_p是选择区域的点的数量，f_adap是适应函数，i和j表示二维特征图上的第i行第j列，学生网络和教师网络的输出维度可能不一样，需要添加适应层，将两个网络的输出拉伸到一样大小；

步骤5.2整体的损失函数

Loss＝L_gt+λL_RAT

L_gt是指原始目标检测损失，λ是RAT损失权重系数，用于平衡L_gt和L_RAT之间的权重；

步骤5.3：学生网络通过最小化整体损失函数Loss学习到教师网络的信息。

10.根据权利要求9所述的基于注意力区域选择的深度模型压缩方法，其特征在于，步骤5.3训练网络并最小化整体损失函数，迭代训练至损失收敛。