[发明专利]基于注意力机制和切割填充的细粒度图像分类方法及系统

说明书

本发明涉及深度学习领域和图像分类领域，具体为一种基于注意力机制和切割填充的细粒度图像分类方法，该方法包括：构建卷积神经网络模型；将原始图像输入卷积神经网络模型，结合注意力机制得到关注图像；将关注图像进行切割，得到子图像，对子图像进行填充，并进行下采样得到填充图像；将关注图像和填充图像输入卷积神经网络模型，并分别通过线性层和softmax分类器，得到对应类别的概率值；选取最大概率值，根据最大值判断分类结果；根据结果在原始图像上标记分类标签；本发明对原图像的关注图像进行分割，再进行填充处理，破坏了各部分之间的相关性，使网络更加关注局部特征，确保高层语义不会被破坏，极大地减少了参数的使用和训练时间。

技术领域

本发明涉及深度学习领域和图像分类领域，具体涉及一种基于注意力机制和切割填充的细粒度图像分类方法及系统。

背景技术

细粒度的图像分类是计算机视觉领域的重要任务，这项任务非常具有挑战性。细粒度的图像分类不同于通用的目标识别，由于粗略地观察细粒度的物体(如鸟类，汽车模型和飞机等)在视觉上是相似的，所以细粒度的图像分类非常依赖于物体的局部特征。通用的分类方法也同样适用于细粒度图像分类，因此如何更好的学习局部特征是细粒度图像分类的关键。

近几年来注意力机制在细粒度图像分类网络中被大量使用，例如循环注意力卷积神经网络(RACNN)和在对象关注模型(OPAM)中使用类激活映(CAM)等方法的出现。对于细粒度图像分类问题中，另一个需要注意的是要关注图像更高层的语义信息以及对目标局部特征的关注。因此zhou提出了破坏和构建学习(DCL)的方法，将目标切割成多个小目标，打乱空间结构进行训练。这种对图像进行分类的方法能破坏对象各部分之间的相关性，从而使网络更加关注局部特征。

但是这种方法破坏了对象的空间结构，使高层的语义信息造成一定的破坏，同时类激活映射的使用需要训练类别权重来获取额外的关注部分来抑制其他类别，造成了图像在进行分类过程中存在误差。

发明内容

为解决以上现有技术的问题，本发明设计了一种基于注意力机制和切割填充的细粒度图像分类方法，该方法的技术方案如下：

S1：构建卷积神经网络模型；

S2：将原始图像输入到卷积神经网络模型中，并结合改进的注意力机制得到关注图像；

S3：将关注图像进行切割，得到关注图像的子图像；再对子图像进行填充处理，得到填充子图像，将填充子图像进行拼接，得到填充图像；

S4：将关注图像和填充图像输入到卷积神经网络模型中，并分别通过线性层和softmax分类器，得到对应类别的概率值；

S5：选取最大概率值，根据最大概率值判断细粒度图像的分类结果；

S6：根据分类的结果在输入的原始图像上标记分类标签。

优选的，基于改进的注意力机制得到关注图的步骤包括：

S21：将原始图像输入卷积神经网络，并在最后一层卷积层的特征图按通道求和得到M(x,y)；

S22：对M(x,y)使用双线性插值上采样方法，得到与原始图像大小相同的显著图S(x,y)；

S23：设置一个α超参数，并根据显著图的最大值计算阈值θ；

S24：根据得到的阈值θ对显著图S(x,y)进行选取，得到掩码矩阵Mask(i,j)，并把掩码矩阵映射到原图像，得到关注部分；

S25：对关注部分进行双线性插值上采样方法，得到与原始图像大小相同的关注图像。

优选的，填充图像的获取包括：

S31：将关注图像切割成N*N个子图像I_sub；