[发明专利]基于空间对称化不规则局部区域特征提取的细粒度图像分类方法

权利要求书

1.一种基于空间对称化不规则局部区域特征提取的细粒度图像分类方法，其特征在于，包括以下步骤：

将图像输入到深度卷积网络中得到该图的特征图；

将该特征图输入到对称化局部区域提取模块中进行局部区域特征提取，该模块通过使用不规则区域特征提取模板进行特征提取，从而得到一个局部特征集合；

利用注意力机制捕获特征之间的上下文关系，突出重要的局部特征，抑制其他局部特征；

利用双向循环网络将空间结构信息与特征信息进行融合，从而得到语义信息更丰富的特征集合；

以聚类的方式将所有特征用聚类中心进行表示，从而去除冗余的信息，联合所有聚类中心进行分类，得到目标的类别。

2.根据权利要求1所述的基于空间对称化不规则局部区域特征提取的细粒度图像分类方法，其特征在于，所述的将图像输入到深度卷积网络中得到该图的特征图，具体如下：

对于任意给定大小的图像先进行图像预处理：利用双线性插值将图像放缩到规定大小，再将每个像素点进行标准化；

将预处理过的图像输入深度卷积网络中，经过多次卷积运算进行特征提取，从而得到该图像的特征图。

3.根据权利要求1所述的基于空间对称化不规则局部区域特征提取的细粒度图像分类方法，其特征在于，所述的将该特征图输入到对称化局部区域提取模块中进行局部区域特征提取，该模块通过使用不规则区域特征提取模板进行特征提取，从而得到一个局部特征集合，具体如下：

对于给定的规则矩形的候选框，对其进行几何变换得到等面积但不规则的候选框集合：

R_list＝[R1，R2，......，Rn]

I_list＝[I1，I2，......，In]

Ii＝T(Ri)

S(Ii)＝S(Ri)

其中Ri表示规则的候选框，Ii表示不规则的候选框，T()表示对Ri按行或列对其进行左右或上下移位，S()表示候选框面积；i＝1，2，...，n；

用这些不规则的候选框在特征图的不同位置提取局部特征，再将这些特征按照再原图上的空间位置关于中心对称，随着特征的增多，这些特征囊括的范围逐渐增大：

f_list＝[f₁，f₂，f₃，……，f_n]

A(f₁)∩…∩A(f_n-i)+ΔA＝A(f₁)∩…∩A(f_n-i+1)

其中fi表示第i局部特征，A(fi)表示第i局部特征的候选框，表示中心对称关系，ΔA表示与已知集合相邻但不属于该集合的区域增量。

4.根据权利要求3所述的基于空间对称化不规则局部区域特征提取的细粒度图像分类方法，其特征在于，所述的利用注意力机制捕获特征之间的上下文关系，突出重要的局部特征，抑制其他局部特征，具体如下：

将上述的集合中的各种形状的局部特征采用双线性插值函数放缩到规定大小：

f＝Bilinear(f)

利用注意力机制捕获上下文关系，具体为：

先计算特征t，t’之间的相似度，采用先对两个特征进行全连接映射再加和的方式求出相似向量g_t，t′：

g_t，t′＝tanh(W_gf_t+W_g′f_t′+b_g)

再将得到的向量g_t，t′输入全连接中计算出注意力值α_t，t′：

α_t，t′＝σ(W_ag_t，t′+b_a)

用对应注意力值对整个特征集合进行加权求和得出新的等数量的特征集合I：

其中W表示需要学习的矩阵，b表示需要学习的偏置，σ表示激活函数。