[发明专利]注意力融合互信息的图像分类方法、装置及存储介质

说明书

本发明提供了一注意力融合互信息的图像分类方法、装置及存储介质，在所述图像分类方法中，我们将注意力分类网络与最大化互信息的聚类网络集成在一起构成所述图像分类网络，以提高分类网络的性能和获得良好的特性，在所述分类网络中，所述注意力分类网络用作提取区分零件特征的过滤器，所述聚类模块充当半监督学习指导，并利用语义相似性内部类来提高分类性能，此外所述分类网络可以使用没有任何类别标签的数据训练网络，适应于数据集比较小的图像细粒度分类以及有利于提高分类的准确性。

技术领域

本发明属于计算机图像识别技术领域，具体是涉及一种注意力融合互信息的图像分类方法、装置及存储介质。

背景技术

随着深度学习的发展，细粒度的图像分类备受关注。但是，这仍然是一个非常具有挑战性的问题，因为相同子类别中的对象可能呈现较大的外观变化，而来自不同子类别的对象可能呈现出更多相似的外观。图像分类中的传统问题，例如比例尺和视角的变化，复杂的背景和遮挡，由于标记细粒图像的成本大幅增加而变得更加难以处理。相比于通用的图像分类任务，细粒度图像分类拥有的数据集非常少。

一个好的模型应该能够发现并代表子类别中的细微视觉差异。为了获得目标局部特征表示，许多作品都引用了人工标注的边界框。由于大量的人力投入使部件的定义和标注既昂贵又主观，因此使用分类标签学习弱监督部件模型的方法取得了重大进展。这些方法通常由两个阶段组成，包括局部定位和细粒度特征学习。局部定位阶段旨在找到有判别性的部件，这通常被称为部件注意力学习阶段。研究人员提出作为多注意卷积神经网络（MA-CNN）进行细粒度识别，并在许多细粒度分类数据集中取得可喜的结果。但是，用于训练通道注意模型的监督信息是通过对所有训练数据集的峰值响应进行聚类来进行的，这会受到图像中对象的某些特定模式的频率影响。

发明内容

有鉴于此，本发明提供了一种注意力融合互信息的图像分类方法、装置及存储介质，以解决现有技术提供的分类网络准确性不高以及需要较多数据集的问题。

一种注意力融合互信息的图像分类方法，包括：

获取属于同一类别的第一输入图像和第二输入图像，

将所述第一输入图像和第二输入图像输入至训练好的注意力融合互信息的图像分类网络中，

分别提取所述第一输入图像和第二输入图像的全局特征，并将所述第一输入图像的第一全局特征和所述第二输入图像的第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，

提取所述第一输入图像的第一局部特征，并根据所述第一全局特征和所述第一局部特征估计所述第一局部特征的注意力图，并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征，

将所述加权特征输入至线性分类器中进行分类，并获取所述线性分类器的交叉熵损失，

根据所述第一语义概率和第二语义概率计算所述第一输入图像和第二输入图像的互信息，并根据最大化的所述互信息获取不变信息聚类损失，

根据所述交叉熵损失和不变信息聚类损失训练所述注意力融合互信息的图像分类网络，

以进行所述第一输入图像的分类预测。

优选地，还包括构建注意力融合互信息的图像分类网络，所述注意力融合互信息的图像分类网络具有注意力分类网络和聚类网络，根据所述交叉熵损失和不变信息聚类损失训练所述注意力融合互信息的图像分类网络的步骤包括：

在获取所述交叉熵损失后，将所述交叉熵损失反向传播至所述注意力分类网络中，以训练所述注意力分类网络，

在获取所述不变信息聚类损失后，将所述不变信息聚类损失反向传播至所述聚类网络中，以训练所述聚类网络。