[发明专利]基于双线性注意力汇集和卷积长短期记忆的车型识别方法

权利要求书

1.一种基于双线性注意力汇集和卷积长短期记忆的车型识别方法，其特征在于，包括以下步骤：

步骤一、在主干网络的特征提取部分添加注意力模块分支，输入车辆图片到主干网络，将注意力模块学到的注意力图与主干网络的原输出特征图做双线性汇集操作，生成对车型分类贡献较大的局部特征图；

步骤二、将生成的局部特征图分别做全局最大池化操作，得到的向量再进行拼接操作输出特征矩阵P；

步骤三、将特征矩阵P重塑后输入到ConvLSTM结构中，并在结构中设置Cell进行串联，将ConvLSTM结构输出的特征图依次送入平均池化层、全连接层，使用分类器进行分类，训练分类模型时采用联合优化策略进行优化。

2.根据权利要求1所述的基于双线性注意力汇集和卷积长短期记忆的车型识别方法，其特征在于，所述步骤一包括：

(1.1)添加注意力模块到主干网络，采用的主干网络为ResNet-50，将车辆图片输入到主干网络中进行特征提取；

(1.2)在ResNet-50的conv5_3层输出的特征图作为注意力模块的输入特征图，通过1×1的卷积核生成注意力图；

(1.3)对步骤(1.2)中得到的每个注意力图与conv5_3层输出的特征图进行逐元素相乘操作，得到局部特征图。

3.根据权利要求2所述的基于双线性注意力汇集和卷积长短期记忆的车型识别方法，其特征在于，所述步骤(1.2)包括，在conv5_3层输出的特征图为F∈R^H×W×N，其中，H表示特征图的高，W表示特征图的宽，N表示特征图的通道数，之后使用M个1×1的卷积核对特征图F进行卷积，得到注意力图A∈R^H×W×M，该过程用公式表示：

其中f(·)表示1×1的卷积操作，A_m∈R^H×W表示车辆某个局部信息，比如车轮，M表示注意力图的数量。

4.根据权利要求3所述的基于双线性注意力汇集和卷积长短期记忆的车型识别方法，其特征在于，所述步骤二包括，将步骤(1.2)中得到的注意力图A与特征图F对应元素逐个相乘，得到局部特征图，然后对这些局部特征图使用全局最大池化操作，提取到更多有区别的局部特征，之后将这些特征汇集得到最终的特征矩阵P∈R^M×N，该过程用公式表示如下：

其中，表示注意力图A中的张量[A₁,A₂,…,A_M]分别与F对应元素逐个相乘，然后g(·)表示全局最大池化操作，而提取的车辆整体的局部特征是由多个不同的局部特征组成，该矩阵P∈R^N×C由多个不同的局部特征[f₁,f₂,…,f_M]拼接而成，Γ(A,F)表示注意力图A和特征图F之间的双线性注意力汇集。

5.根据权利要求1所述的基于双线性注意力汇集和卷积长短期记忆的车型识别方法，其特征在于，所述步骤三包括：

(2.1)将特征矩阵P调整成2048×7×7的张量，输入到ConvLSTM结构中；

(2.2)在ConvLSTM结构中共设置了3个Cell，Cell中包含卷积运算和激活函数，Cell的输出特征图组尺寸分别为2048×7×7、1024×7×7、1024×7×7；

(2.3)设置时间步，每个Cell的输入共有3个：前一个Cell的输出、同一个Cell上一个时间步的状态C_t-1和输出H_t-1；

(2.4)取第二个时间步的第3个Cell的输出H_t2h3和第三个时间步的第3个Cell的输出H_t3h3合并成2048×7×7的张量输出；然后将其送入平均池化层、全连接层，最后使用分类器对车辆图片进行细粒度识别；

(2.5)对分类后的图像采用联合优化策略进行优化。

6.根据权利要求1或5所述的基于双线性注意力汇集和卷积长短期记忆的车型识别方法，其特征在于，步骤三中，所述分类器为选用softmax分类器。