[发明专利]一种基于细粒度图像分类的快速识别方法

权利要求书

1.一种基于细粒度图像分类的快速识别方法，其特征在于：包括以下步骤：

步骤1，从网络爬取目标图片，制作数据集，并按比例划分为训练集、验证集和测试集；

步骤2，在原双线性神经网络中加入Grad-CAM注意力模块和贡献度模块，得到改进后的双线性神经网络；

步骤3，打乱训练集，并每次从中随机抽取相同数量的图片，然后输入改进后的双线性神经网络；

步骤4，开始训练参数，框定高贡献区域并裁剪，进行特征融合，通过贡献度模块计算分类结果；

步骤5，在验证集上验证分类精度，保存训练参数；

步骤6，训练结束，选择在训练中分类精度最高的模型载入改进后的双线性神经网络，使用测试集测试分类精度。

2.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤2中，特征提取器采用VGG-16神经网络，输出一个14×14×512的特征图，该特征图的激活值和反向传播梯度信息中包含了特征图每一个位置对于分类结果的贡献度，由此可得出贡献度权重其公式如下：

式中，g^c是该特征图关于标签类别c的反向传播梯度值，是位置(i，j)处特征图的激活值，m是特征图像素点的个数，Z是权重累加次数，是偏导数；

得到贡献度权重之后，与特征图进行加权相乘，使其线性表示，然后通过ReLU层，得到关于标签类别c贡献度图L^c，其公式如下：

式中，M^m是具有所有像素点的特征图激活值；

得到贡献度图之后，需要通过阈值框定贡献度高的区域，然后依照阈值框裁剪特征图，分离高贡献度区域和低贡献度区域，其公式为：

式中，f(L)是经过阈值处理后的特征图，IOU是临界阈值。

3.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤3中，为了防止训练过程中出现过拟合现象，在每一轮训练时都要将图片的训练顺序打乱，并从训练集中抽取相同数量的图片，送进改进后的双线性神经网络进行训练。

4.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤4中，开始训练参数，框定高贡献区域并裁剪，高贡献度区域和低贡献度区域分别进行双线性特征融合，然后将高贡献度特征融合结果和低贡献度特征融合结果分别送入全连接层分类网络，最后将两个数据同时送入贡献度模块，计算最终分类结果；

特征融合公式为：

F＝f(L_A)^Tf(L_B)

式中，f(L_A)是卷积神经网络stream A提取特征并经过阈值处理所得到的特征图，f(L_B)是卷积神经网络stream B提取特征并经过阈值处理所得到的特征图,F是f(L_A)和f(L_B)特征融合后得到的特征图；

贡献度公式为：

F_final＝δ×F_高+μ×F_低

式中，F_高是高贡献率区域经过特征融合后得到的特征图，F_低是低贡献度区域经过特征融合后得到的特征图，F_final是经过贡献度机制计算后得到的最终分类结果。

5.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤5中，每一轮训练结束之后，都要在验证集上验证训练参数，之后保存训练参数。

6.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤6中，已训练完的模型中包含了目标图片的数据特征，从测试集中随机抽取一组图片，送入网络模型中，首先提取图像特征，区分高贡献度区域和低贡献度区域，然后分别进行特征融合，融合后送入全连接神经网络，全连接神经网络通过softmax函数计算出该图像分别属于目标图片的概率，选择最大概率的目标，输出目标的种类。