[发明专利]一种基于维度解耦和非局部关系的车辆重识别方法

权利要求书

1.一种基于维度解耦和非局部关系的车辆重识别方法，其特征在于：包括以下步骤：使用卷积神经网络Resnet50为骨干，将ResNet-50后部分残差层复制为三个相同结构的分支，三个分支在残差层后分别引入全局特征提取机制、非局部关系捕获机制和维度解耦机制；

所述全局特征提取机制用于提取车辆的全局特征，将res_conv5层生成的特征图依次输入到全局平均池化和一个由1×1卷积、批量标准化和ReLU激活函数组成的通道降维模块，得到256维的特征表示；

所述非局部关系捕获机制包括基于通道的非局部关系捕获模块和基于空间的非局部关系捕获模块，两者分别针对通道与空间层面的非局部关系进行降噪，同时也在通道与空间层面为通道间和位置间的关系分配不同的权重；该机制旨在挖掘出有用的非局部关系进而提升网络的性能；

所述维度解耦机制用于剥离通道与空间之间信息的互相干扰，解耦空间与通道，从而使一部分特征专注于特定的一个子空间；

所述基于空间的非局部关系捕获模块的组成结构：设X∈R^C×H×W为特征提取模块的输入，其中W和H分别是输入张量的宽度和高度，C为通道数量；其中函数f(x)为对输入x进行r个深度可分离卷积运算，卷积核大小为H×W，则得到了r个大小为C×1×1的输出特征，随后将它们都变形为C×1，然后在空间维度进行拼接得到C×r的矩阵，记该矩阵为A；g(x)为对输入张量x做1×1卷积操作，并经过变形操作得到HW×C的矩阵B，然后将A与B矩阵相乘来确定非局部关系并得到大小为HW×r的矩阵；在得出的非局部关系的基础之上对每一列使用softmax激活函数来得到合适的概率矩阵x^p：

x^p＝softmax(f(x)×g(x))；

x^p的尺寸为HW×r，然后求概率矩阵的每一行之和得到权重向量Q，该向量的每个元素Q_i代表了第i个空间位置的权重；Q_i表达为：

基于空间的非局部关系捕获模块最终的输出特征S_f为：

S_f＝Q*x+x；

在该特征提取模块中，f(x)函数为r个卷积核大小为H×W的深度可分离卷积；

所述基于通道的非局部关系捕获模块的组成结构：首先将原始特征X∈R^C×H×W输入到两个1×1卷积操作；第一个1×1卷积用于将通道从C压缩到C/g，其中g为超参数，然后将它变形为J，尺寸为HW×C/g；第二个1×1卷积操作之后变形为K，尺寸为HW×C，将K的转置与J进行矩阵相乘得到大小为C×(C/g)的全局参考，记为x^g；将x^g的每一列使用softmax激活函数来得到概率矩阵；然后求概率矩阵的每一行之和，此操作用函数α(x)表示，得到尺寸为C的基于通道的全局特征掩码M，

M＝α(softmax(K^T×J))；

然后将M与输入特征x进行元素点乘之后再与x相加得到最终的输出特征表示；基于通道的非局部关系捕获模块最终的输出特征S_f为：

S_f＝M*x+x。

2.根据权利要求1所述的基于维度解耦和非局部关系的车辆重识别方法，其特征在于：所述非局部关系捕获机制具体操作为：将res_conv5层输出的张量同时输入到基于空间的非局部关系捕获模块和基于通道的非局部关系捕获模块中；经过空间和通道非局部关系捕获模块的特征尺寸不变，然后经过全局平均池化、1×1卷积、批量标准化和ReLU操作，将维度由2048降低至256。

3.根据权利要求1所述的基于维度解耦和非局部关系的车辆重识别方法，其特征在于：所述维度解耦机制具体操作为：先在空间维度将特征图从水平方向上分割成两部分得到两个特征图，然后将得到的两个特征图在通道维度上都均分为两部分；解耦操作后在两个子空间独立执行特征提取操作：将特征图经过全局平均池化、1×1卷积、批量标准化和ReLU操作，将维度由2048降低至256。

4.根据权利要求1-3任一项所述的基于维度解耦和非局部关系的车辆重识别方法，其特征在于：采用交叉熵损失函数和三元组损失函数对网络进行约束：

使用ResNet-50作为骨干网络，设置批处理大小为16，训练轮数为450轮，图像在输入网络之前调整大小为256×256；在训练阶段，利用三元组损失训练约束降维后的256维特征；另外，将降维后的特征经过一个全连接层使256维特征变为数据集的车辆ID数量，然后用交叉熵损失进行训练约束；在测试阶段，利用欧氏距离对车辆图像进行相似度度量。