[发明专利]面向多角度SAR目标识别网络的轻量化设计方法

权利要求书

1.面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：该方法的实施流程如下：

步骤1、获取训练好的原始CNN模型；

将合成孔径雷达采集到的数据制作成多角度SAR数据集；指定一种原始CNN网络；利用数据集训练模型，使得CNN模型的分类性能达到满意的精度；

步骤2、对原始CNN模型进行结构化剪枝；

结构化的剪枝将权重矩阵作为一个大滤波器，直接删除不重要的滤波器通道，减少权重矩阵的维度；对于第i层卷积层，输入特征图x_i有n_i个通道，输出特征图x_i+1有n_i+1个通道；特征图x_i变换到x_i+1的过程就是特征图x_i穿过一个维度为n_i×n_i+1的滤波器的过程；具体而言：

1)在每一层中，权重重要性以滤波器的单个通道为单位进行计算；对于滤波器的第j个通道，权重重要性表示为p_j＝∑|K|，其中K是卷积核的权重；

2)使用权重重要性p_j从大到小对过滤器的通道进行排序；

3)修剪具有权重重要性p_j的m个通道；删除连接到这m个通道的下一层的输入特征图；

4)重新训练网络以恢复其性能；

5)对下一层重复上述步骤，直到完成所有卷积层和全连接层的修剪；

步骤3、对经过结构化剪枝的轻量化CNN模型的无损精度恢复；

使用知识蒸馏的方法使有损的轻量化模型多角度特征提取能力恢复至无损的原始模型水平；教师网络是未经修剪的，训练有素的网络，而学生网络是经过结构化修剪的轻量化模型；通过修改学生网络的损失和使用联合损失指导轻量化CNN模型的无损精度恢复；在CNN的训练中，softmax分类器用于处理网络的分类概率q_ii得到分类结果；令z_i为网络的输出，则

知识蒸馏中引入超参数温度T来提取隐藏信息；此时，分类概率q_ii被表示为：

温度T越大，隐藏信息越有可能被提取；使用超参数T的训练过程称为“软目标”训练，其网络输出为z_ii/T；普通训练称为“硬目标”训练，其网络输出为z_ii；联合训练时的联合损失L_t被用来评价剪枝模型从原始模型中学习的水平，其定义为：

其中和是剪枝模型和教师模型的软目标，F1分别表示KL散度，用于描述和之间的差异；F2是交叉熵，用于测量预测输出Q_p与实际值Y_true之间的差异；α作为超参数，用于平衡损失的两个部分，T是温度参数，用于控制蒸馏训练的快慢与质量；

步骤4、使用权重共享进一步压缩轻量化CNN模型的存储空间；

基于K-means聚类的权重共享被引入以减少权重矩阵的存储消耗；假设权重被分为C类，则权重仅需要log₂C位的空间进行存储；对于一层网络中的N个连接，每个连接用b位存储空间表示；则压缩比由下式计算：

具体对每一层卷积层进行相同类数的聚类，对聚类个数中心数目进行实验，最终选择不会对CNN模型分类精度造成影响的聚类中心个数。

2.根据权利要求1所述的面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：步骤2中的剪枝是结构化的，能通过剪枝得到轻量化CNN模型的结构。

3.根据权利要求1所述的面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：步骤3中的知识蒸馏方法作为轻量化CNN模型的精度恢复方法被引入，具体通过联合训练的方式达到知识迁移的目的，最终得到多角度特征提取能力相较于原始模型无损的轻量化CNN模型。

4.根据权利要求1所述的面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：步骤4中的权重共享方法是权重聚类，具体是在每一层卷积层或全连接层进行相同聚类中心的聚类，且选择不会影响CNN模型多角度特征提取能力的聚类中心个数。