[发明专利]基于图卷积神经网络的车辆重识别方法

权利要求书

1.一种基于图卷积神经网络的车辆重识别方法，其特征在于，包括：

对车辆图片数据集中的图像数据进行预处理，将预处理后的车辆图片数据集划分为训练集和测试集；

构建用于车辆重识别的网络模型，使用卷积神经网络提取待重识别的车辆图像的全局特征和局部特征，构建具有六个顶点的图结构，将全局特征和局部特征作为所述图结构的顶点特征，输入到图卷积神经网络中学习结构化信息，得到结构化特征，利用所述结构化特征计算出所述网络模型的损失函数；

根据所述损失函数利用所述训练集中的图像数据对所述网络模型进行深度学习训练，得到训练好的深度学习网络模型；

将待重识别的车辆图像和所述测试集中的所有图像输入到所述训练好的深度学习网络模型中，分别得到待测图片和测试集中的所有图像的图片特征，根据图片特征计算出待测图片和测试集中的各个图像之间的相似性，根据相似性得到所述待重识别的车辆图像的重识别结果；

所述的使用卷积神经网络提取待重识别的车辆图像的全局特征和局部特征，包括：

构建用于车辆重识别的网络模型，该网络模型使用特征提取网络提取待重识别的车辆图像的全局特征，所述特征提取网络为卷积神经网络ResNet-50，该ResNet-50网络包含49个卷积层和1个全连接层；

将全局特征划分为5个局部特征，分别是位于左上、右上、居中、左下和右下的方形区域，每一个方形区域的边长为三分之二的图像边长，每个方形区域特征的尺寸为11×11；

所述的构建具有六个顶点的图结构，将全局特征和局部特征作为所述图结构的顶点特征，输入到图卷积神经网络中学习结构化信息，得到结构化特征，利用所述结构化特征计算出所述网络模型的损失函数，包括：

将所述用于车辆重识别的网络模型分为两个分支：

一个分支以所述全局特征作为输入，采用交叉熵损失函数进行表征学习，获得分类任务损失；

另一个分支将全局特征和5个局部特征作为顶点特征，构建图结构其中，为顶点集合，包含6个顶点，分别是全局、左上、右上、居中、左下、右下顶点，表示为：

为中顶点构成的边的集合；

所述图结构的邻接矩阵A表示为：

在邻接矩阵A上相加一个单位矩阵I作为自循环，得到新的邻接矩阵表示为：

根据得到度矩阵度矩阵被用于对进行归一化得到邻接矩阵使得的每一行数值之和为1，表示为：

全局特征和5个局部特征作为6个顶点的特征向量构成初始的特征矩阵H⁽⁰⁾，将所述邻接矩阵和特征矩阵H⁽⁰⁾输入到一个两层的图卷积神经网络，该图卷积神经网络的激活函数为ReLU函数，记图卷积神经网络中初始层的权重矩阵为W⁽⁰⁾，下一层的权重矩阵为W⁽¹⁾，最终图卷积神经网络的输出特征矩阵H⁽²⁾表示为：

由特征矩阵H⁽²⁾得到新的全局特征和5个局部特征，每一个特征的维度为512，之后将所述的新获得的全局特征和5个局部特征进行特征拼接，得到一个新的特征向量，特征维度为3072，记这一新的特征向量为f_c，利用所述特征向量f_c采用三元组损失函数进行度量学习，得到损失值；

所述的利用所述特征向量f_c采用三元组损失函数进行度量学习，得到损失值，包括：

记为一个批次训练中的样本集，记分别表示锚点,最难正样本以及最难负样本，最难正样本指的是与锚点样本外观表征最不相似的正样本，最难负样本指的是外观表征与锚点最相似的负样本，这一关系表示为：

D(f_c(A),f_c(P^*))＝maxD(f_c(A),f_c(P))

D(f_c(A),f_c(N^*))＝minD(f_c(A),f_c(N))

其中D(x,y)表示x,y之间的欧几里得距离，f_c(x)表示x样本的特征，三元组损失希望将正样本与锚点的距离拉近，将负样本与锚点的距离推远，这个三元组损失函数L_triplet用公式表示为：

L_triplet＝max{D(f_c(A),f_c(P^*))+α-D(f_c(A),f_c(N^*)),0}。