[发明专利]基于多尺度ROI特征的双二次池化细粒度图像分类方法

权利要求书

1.基于多尺度ROI特征的双二次池化细粒度图像分类方法，其特征在于包括如下步骤：

步骤(1)、使用Resnet-34网络提取图像的深度视觉特征，并基于该特征生成掩膜(Mask)；将Mask与视觉特征图进行点乘，构建图像的ROI特征；

步骤(2)、选取Resnet-34网络中低层、中层、高层三种不同尺度的ROI特征，并利用改进的残差采样结构对多尺度特征进行维度变换，实现多尺度特征融合，从而提取多尺度ROI特征；

步骤(3)、利用多层次双二次池化结构,同时建模同层和跨层特征间的交互，并基于池化后的特征向量构建Softmax分类器；

步骤(4)、针对如上步骤构建端到端的网络进行训练，并利用训练好的网络对任一测试图像进行细粒度分类，输出所属类别；

步骤(2)具体实现如下：

2-1.利用一个k×k的池化层和一个1×1的卷积层构建主线路；池化层用来改变特征图尺寸，卷积层用来改变特征的通道数量；

2-2.利用一个k×k的卷积层构建残差分支，用来弥补在主线路中池化层所丢失的特征信息；该分支中的卷积层与主线路中1×1卷积层具有相同的卷积核数量；

2-3.将主线路与残差分支加和得到最终的采样网络，并利用归一化层对其ROI特征进行归一化；

如上步骤2-1到2-3公式如下：

其中为Q′∈h_q×w_q×c_q特征原始维度，Q∈h_p×w_p×c_p为需要转变成的目标维度；Conv(Q′,k,s,b)代表的意思为使用b个大小为k×k的卷积核，步长设为s，在特征Q′上进行卷积操作；在上应用残差采样结构后得到归一化的多尺度ROI特征

步骤(3)具体如下：

利用生成的归一化后的多尺度ROI特征构建如公式(5)所示的双二次池化得到最终的分类特征向量：

其中为映射矩阵；在步骤(2)中已经使用残差采样结构将特征处理到维度14×14×512，因此在经过HQP运算后，每对交互的特征进行池化后维度为512×512，将两两交互得到的特征向量拼接起来得到512×512×3的特征作为图片的最终表征向量，然后利用全连接层进行基于Softmax的分类。

2.根据权利要求1所述的基于多尺度ROI特征的双二次池化细粒度图像分类方法，其特征在于步骤(1)所述的ROI特征的提取，具体操作如下：

1-1.针对Resnet-34获得的图像深度视觉特征X∈R^h*w*c,将X在通道方向上加和得到特征图A_x＝∑_kX^:,:,k,其中A_x∈R^h*w；

1-2.将特征图A_x的均值设定为阈值α，A_x内大于等于α的区域视为目标主体区、其值设置为1；低于α的区域视为背景、其值设置为ξ，其中ξ为一个趋于0的小数，于是得到一个二值化的Mask图M_x，其生成过程如公式(1)所述：

θ为阈值权重，其取值被限定在[0.5，1]之间，并通过交叉验证实验来选取；

1-3.将Mask图M_x与图像深度视觉特征X的每个特征通道图做点乘；

1-4.选取Resnet中Conv5_3、Conv4_6和Conv3_4三层的卷积特征作为图片不同层次不同尺度特征表达，分别记为分别对X、Y、Z三种特征，分别用步骤1-1到1-3生成对应的Mask图，利用如下公式(2)将三个Mask图融合成一个统一的Mask来提升其精度：

其中，M_x、M_y、M_y分别为在X、Y、Z上获得的Mask图，Maxpool(M_x,M_y)为最大池化下采样函数，将M_y下采样至M_x相同尺寸；

1-5.对融合的Mask图M进行双线性插值以适应Y、Z特征的尺寸，得到归一的Mask图并利用点乘操作得到X、Y、Z对应的最终的ROI特征图如下：

其中，代表最终提取出的ROI特征，函数BI(P,P′)代表将P′通过双线性插值放大到P的尺寸。