[发明专利]动态关系蒸馏的长尾遥感图像目标识别方法

权利要求书

1.一种动态关系蒸馏的长尾遥感图像目标识别方法，其特征在于，步骤如下：

长尾遥感图像目标识别方法的训练过程分为两个部分：教师模型的训练阶段和学生模型的训练阶段；

(1)教师模型的训练阶段

针对两个教师模型，分别构建可用于训练的教师网络；教师网络的基础结构采用Resnet50，Resnet50的前四个卷积模块用于提取图像的特征，在卷积后接全连接层，构成教师网络；

遥感图像数据集为DOTA数据集，DOTA数据集是航拍图像构成的图像数据集，图像来源包含传感器和平台，为Google Earth、JL–1卫星拍摄以及中国资源卫星数据和应用中心的GF–2卫星拍摄；DOTA数据集包括15个类别，在训练教师网络前，先把整个长尾遥感数据集按照各个类别的样本数量分为两个部分：含有较多图像的几个类别构成头部数据子集，相对图像数量较少的其他几个类别构成尾部数据子集；使用交叉熵损失来监督教师网络的训练，分别用划分好的头部数据集和尾部数据集来训练两个教师网络；使用的损失如下：

其中，T表示教师网络，θ是网络的参数，x_i代表输入的图像，y_i是对应图像的类别，n表示样本的数量；两个教师网络以同样的方式进行训练，直到网络收敛；

使用教师网络的中心特征作为知识传递的载体；把Resnet50第四层的输出作为各个数据的特征，中心特征就是各个类别所有数据的特征的中心；假设长尾遥感数据集共有C个类别，每个类别的样本数量为n_k(k∈1:C)，则通过教师网络，中心特征表示为：

其中，表示类别k的中心特征，F_i是图像i的特征；

通过公式(2)为每个类别得到一个中心特征向量，以此来反映长尾遥感数据集中各个类别的特征分布；

(2)学生模型的训练阶段

结构上，学生网络的模型结构和教师网络是完全一致的；为了让学生网络学习教师网络提取特征的能力，让学生网络的中心特征和教师网络的中心特征相互靠近，学生网络能学习到隐藏的教师提取特征方式；为此，使用如下的损失来约束学生网络：

将同一类别的教师和学生的中心特征相互靠近；其中，u和k代表教师和学生网络中的类别；表示教师网络的类别k的中心特征；表示学生网络的类别为u的中心特征，其计算公式为：

其中，F_i是图像i的特征，每个类别的样本数量为n_u；

随着训练的进行，教师网络的中心特征保持不变，但是学生网络的中心特征会随着训练的轮数进行更新；

学生网络的每个样本数据的特征和教师网络中对应类别的中心特征相互靠近，这样既保证了它们整体的分布和教师网络学习到的分布更相似，又能学习到更紧凑的特征，让类内间的距离更小；其形式如下：

其中，F_i(S)表示学生网络中图像i的特征，u为图像i的类别；

通过公式(3)和公式(5)，学生网络很好的学习到教师网络的知识；同时，学生网络还应该使用数据的真值进行监督；使用公式(1)的交叉熵损失；因此，训练学生网络的总损失表示为：

L＝L_ce+αL_cen+βL_ind (6)

其中，α和β是超参数；通过公式(6)训练直到学生网络收敛，最终得到的学生网络就是所需要的长尾图像分类模型。