[发明专利]基于双特长教师模型知识融合的图像分类方法及存储介质

权利要求书

1.一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的图像分类方法包括：

步骤1：通过调整训练数据分布分别对两个特长教师模型进行训练，获得双特长教师模型；

所述的步骤1具体为：

按照类别信息将训练数据集均等且分为第一子数据集和第二子数据集，采样第一子数据集中的一半数据连同第二子数据集作为第一特长教师模型的训练数据；采样第二子数据集中的一半数据连同第一子数据集作为第二特长教师模型的训练数据；使用对应的训练数据分别对第一特长教师模型和第二特长教师模型进行训练；

步骤2：对于双教师模型的不同层特征采用基于注意力转移的逐层融合方式进行融合，训练时分别对教师模型和学生模型计算注意力特征图，通过注意力特征损失函数对学生模型的特征层进行约束；

步骤3：采用选择性知识传递机制对教师模型特征进行选择性传递；

步骤4：对双教师模型进行融合训练，获取目标模型；

步骤5：使用步骤4获取的目标模型进行图像分类。

2.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的第一特长教师模型和第二特长教师模型均采用卷积神经网络的一般训练方式进行训练。

3.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的步骤2具体为：

基于注意力转移的逐层融合方式将教师模型的特征层分组，每一组获得的特征组计算注意力特征图，通过注意力特征图计算注意力特征损失函数，通过注意力特征损失函数对学生模型的特征层进行约束；

注意力特征图的计算方法为：

其中，C为类别数，A_i为对应特征层的注意力特征图。

4.根据权利要求3所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的注意力特征图的损失函数具体为：

其中，为学生模型的注意力特征图，为教师模型的注意力特征图，p为范数。

5.根据权利要求1所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的步骤3具体为：

采用选择性知识传递机制，基于信息熵或几何中心对不同教师模型的特征进行加权，实现选择性知识传递；

所述的知识传递机制的选取方法为：

计算两种不同知识传递机制下的学生模型精度和收敛速度，选择模型精度高、收敛速度快的知识传递机制。

6.根据权利要求5所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的基于信息熵的选择性知识传递机制具体为：

通过不同教师模型的Logits输出进行统一编码和信息熵计算，经过编码后的Logits信息熵计算方法为：

其中，C为类别数，p(x_i)为样本x_i对应其真实类别上的Logits输出值；

然后使用信息熵对每个源模型特征的表征能力进行量化评价，并作为两个源模型的融合权重。

7.根据权利要求5所述的一种基于双特长教师模型知识融合的图像分类方法，其特征在于，所述的基于几何中心的选择性知识传递机制具体为：

利用特征与其类别几何中心的距离Dist^C量化评价不同源模型特征的表征效果，实现共享任务域的选择性融合；

Dist^C的计算方法为：

Dist^c＝||F_i-C^GM||₂

其中，F_i为样本对应的特征，C^GM为源模型的类中心，N为C类别下的样本数量。