[发明专利]基于注意力转移机制的细粒度图像分类方法

说明书

本发明提出了一种基于注意力转移机制的细粒度图像分类方法，用于提高细粒度图像分类精度。实现步骤为：获取包含细粒度图像的训练样本集和测试样本集；构建全局感知网络和注意力转移网络模型；利用训练样本集对全局感知网络和注意力转移网络进行训练；用训练好的全局感知网络和注意力转移网络对测试样本集进行分类。本发明通过设计全局感知网络和注意力转移网络对图像进行联合特征提取，使网络在提取了全局特征和判别区域特征的基础上，进一步提取了不同判别区域之间的语义相关性，从而加强了网络的特征提取能力，有效提高了细粒度图像分类准确率。

技术领域

本发明属于计算机视觉技术领域，涉及一种细粒度图像分类方法，具体涉及一种基于注意力转移机制的细粒度图像分类方法，可用于精细分类任务，如鸟类分类、汽车分类等。

背景技术

图像分类，是一种通过基于设计或学习的方法来提取图像自身判别特征，让智能设备能够自动识别图像主体所属的类别的处理方法。图像分类方法广泛应用在社会各个领域，如人脸识别、物种识别等。根据图像分类目标的粒度不同，图像分类方法一般可以分为两类，即通用(粗粒度)图像分类及子类(细粒度)图像分类。粗粒度图像分类方法旨在识别不同类别物体，如区分猫和狗；而细粒度图像分类方法旨在识别同一类物体的不同子类，如区分蓝猫和波斯猫，或区分阿拉斯加犬和哈士奇等。

近年来，随着深度学习的快速发展，社会智能化的不断加深以及开源图像分类数据库的不断扩增，粗粒度图像分类任务的准确率已经超越人类平均水平。因此，细粒度图像分类得到越来越多的重视。相对于粗粒度图像，细粒度图像不仅存在自身光照及姿态变化的问题，还存在图像类间距离小、类内距离大的问题。这些问题对细粒度图像分类过程中判别区域定位与特征提取造成极大的困难。因此，如何精确且自适应地定位细粒度图像判别区域，并准确地提取判别区域的特征，成为提升细粒度图像分类精度的关键。

根据不同的判别区域定位方法，细粒度图像分类方法可分为两类：基于强监督的细粒度图像分类方法和基于弱监督的细粒度图像分类方法。相对于基于强监督的细粒度图像分类方法，基于弱监督的细粒度图像分类方法只利用图像类别标签进行判别区域定位，而不使用额外的判别区域标签。基于弱监督的细粒度分类方法一般过程为：首先，对细粒度图像进行特征提取；其次，通过采用不同方法，如基于视觉注意力的方法、基于图像金字塔的方法等，利用提取到的特征对细粒度图像进行判别区域定位，并对得到的判别区域进行进一步特征提取；最后，根据提取到的图像特征进行图像分类。基于弱监督的细粒度分类具有训练效率高、判别区域自适应，以及标签成本低等优点，是当前细粒度图像分类领域的研究热点。

目前为止，基于弱监督的细粒度图像分类方法有以下几种：

例如，申请公布号为CN 110084285A，名称为“基于深度学习的鱼类细粒度分类方法”的专利申请，公开了一种基于深度学习的鱼类细粒度图像分类方法，包括将获取的图像进行预处理，使用深度神经网络进行特征提取，构建特征金字塔网络进行区域提议，对判别区域进行裁剪和特征提取，随后一方面利用提取出的特征做一次分类，将该分类的准确率作为监督信号输入到区域提议网络，另一方面将该特征与全局特征融合送入全连接层做分类，输出最终的分类结果。该发明通过设计特征金字塔来进行判别区域定位，解决了细粒度图像分类任务中由于较大的类内差异和较小的类间差异造成的准确率较低的问题。然而，该方法仅在14*14、7*7和4*4三个尺度上构建特征金字塔，迫使细粒度图像的判别区域只能在该尺度上产生，而无法准确定位判别区域，导致分类准确率仍然较低。