[发明专利]注意力融合互信息的图像分类方法、装置及存储介质

权利要求书

1.一种注意力融合互信息的图像分类方法，其特征在于，包括：

获取属于同一类别的第一输入图像和第二输入图像，

将所述第一输入图像和第二输入图像输入至训练好的注意力融合互信息的图像分类网络中，

分别提取所述第一输入图像和第二输入图像的全局特征，并将所述第一输入图像的第一全局特征和所述第二输入图像的第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，

提取所述第一输入图像的第一局部特征，并根据所述第一全局特征和所述第一局部特征估计所述第一局部特征的注意力图，并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征，

将所述加权特征输入至线性分类器中进行分类，并获取所述线性分类器的交叉熵损失，

根据所述第一语义概率和第二语义概率计算所述第一输入图像和第二输入图像的互信息，并根据最大化的所述互信息获取不变信息聚类损失，

根据所述交叉熵损失和不变信息聚类损失训练所述注意力融合互信息的图像分类网络，以进行所述第一输入图像的分类预测。

2.根据权利要求1 所述的图像分类方法，其特征在于，还包括构建注意力融合互信息的

图像分类网络，所述注意力融合互信息的图像分类网络具有注意力分类网络和聚类网络，根

据所述交叉熵损失和不变信息聚类损失训练所述注意力融合互信息的图像分类网络的步骤包

括：

在获取所述交叉熵损失后，将所述交叉熵损失反向传播至所述注意力分类网络中，以训

练所述注意力分类网络，

在获取所述不变信息聚类损失后，将所述不变信息聚类损失反向传播至所述聚类网络中，

以训练所述聚类网络。

3.根据权利要求1所述图像分类方法，其特征在于，根据所述第一输入图像获取所述第二输入图像，所述第一输入图像为待分类图像，所述第二输入图像为所述第一输入图像通过随机扰动转换后获得的图片，

所述随机扰动包括缩放、倾斜、旋转、翻转、更改对比度和、更改颜色饱和度中的一种或多种。

4.根据权利要求1所述的图像分类方法，其特征在于，根据所述第一全局特征和所述第一输入图像的第一局部特征获取所述第一局部特征的注意力图, 并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征的步骤包括：

采用加法运算使所述第一局部特征中的每个像素位置的输出激活向量和全局特征组合在一起，然后学习从结果描述符到兼容性评分的单个全连接层映射，以定义兼容性评分函数，使得，其中，，

对所述兼容性评分函数进行归一化，以获得所述注意力图，所述注意力图中的第个元素为，其中，

使所述注意力图对所述第一局部特征中的每个像素位置的输出激活向量进行加权，以获得所述注意力加权特征，其中，

所述全局特征的特征向量为，所述第一局部特征的局部特征向量为，，所述为所述第一局部特征向量中的第个像素位置的输出激活向量，为像素位置的数量，为学习与所述第一输入图象类别相关的权重向量。

5.根据权利要求2所述的图像分类方法，其特征在于，使所述注意力分类网络和聚类网络共享相同的特征提取参数。