[发明专利]基于注意力机制和切割填充的细粒度图像分类方法及系统

权利要求书

1.一种基于注意力机制和切割填充的细粒度图像分类方法，其特征在于，所述方法步骤包括：

S1：构建卷积神经网络模型；

S2：将原始图像输入到卷积神经网络模型中，并结合改进的注意力机制得到关注图像；基于改进的注意力机制得到关注图的步骤包括：

S21：将原始图像输入卷积神经网络模型，并在最后一层卷积层的特征图按通道求和得到M(x,y)；

S22：对M(x,y)使用双线性插值上采样方法，得到与原始图像大小相同的显著图S(x,y)；

S23：设置一个α超参数，并根据显著图的最大值计算阈值θ；

S24：根据得到的阈值θ对显著图S(x,y)进行选取，得到掩码矩阵Mask(i,j)，并把掩码矩阵映射到原始图像中，得到关注部分；

S25：对关注部分进行双线性插值上采样方法，得到与原始图像大小相同的关注图像；

其中，M(x,y)是最后一层卷积层的特征图按通道求和的二维矩阵，S(x,y)表示显著图，x表示二维矩阵的行，y表示二维矩阵的列；Mask(i,j)表示掩码矩阵，i表示掩码矩阵的行坐标，j表示掩码矩阵的列坐标；

S3：将关注图像进行切割，得到关注图像的子图像；再对子图像进行填充处理，得到填充子图像，将填充子图像进行拼接，得到填充图像；

S4：将关注图像和填充图像输入到卷积神经网络模型中，并分别通过线性层和softmax分类器，得到对应类别的概率值；

S5：选取最大概率值，根据最大概率值判断细粒度图像的分类结果；

S6：根据分类的结果在输入的原始图像上标记分类标签；

其中，softmax表示归一化指数函数。

2.根据权利要求1所述的一种基于注意力机制和切割填充的细粒度图像分类方法，其特征在于，最后一层卷积层的特征图求和公式为：

所述显著图公式为：

S(x,y)＝g(M(x,y))

所述阈值的设值公式为：

θ＝(1-α)·max(S(x,y))

所述掩码矩阵的求取公式为：

其中，Z表示特征图的数量，F_z(x,y)表示第z张特征图，g(·)是对M(x,y)采用双线性插值法，α表示注意率的超参数，max(S(x,y))表示显著图S(x,y)上的最大值。

3.根据权利要求1所述的一种基于注意力机制和切割填充的细粒度图像分类方法，其特征在于，所述填充图像的获取包括：

S31：将关注图像切割成N*N个子图像；

S32：对每一个子图像进行0填充，得到填充后的子图像IP_n；

S33：根据原始图像空间位置将0填充后的子图像拼接成新图像；

S34：对新图像进行下采样，得到与原始图像大小相同的填充图像；

其中，IP_n表示对第n个子图像进行填充后的图像，n表示关注图像的子图像编号，N为一个常数。

4.根据权利要求3所述的一种基于注意力机制和切割填充的细粒度图像分类方法，其特征在于，将关注图像分割为子图像的公式为：

其中，ψ(I)表示关注部分上采样后得到的关注图像，f_c(·)表示一种切割方法，即对图像ψ(I)切割成N*N个子图像，表示为切割后子图像的集合，IS_n表示为第n个子图像，N²表示分割后子图像的个数。

5.根据权利要求3所述的一种基于注意力机制和切割填充的细粒度图像分类方法，其特征在于，获得填充图像的公式包括：

其中，f_p(·)表示为对子图像IS_n进行大小为P的0填充，表示为切割后子图像的集合，表示为填充后子图像集合，f_s(·)表示为将所有填充后的子图像按照原空间位置拼接成与原图像相同大小的填充图像，ψ(I)表示关注部分上采样后得到的关注图像，表示与原始图像大小相同的填充图，N²表示分割后子图像的个数。