[发明专利]一种跨模态的行人重识别方法

权利要求书

1.一种跨模态的行人重识别方法，其特征在于，包括以下步骤：

S1、在训练集中采用在线的随机批采样策略获取身份对应、数量相同的可见光图片和红外图片；

S2、构建包括部分参数共享的双流主干网络和知识自蒸馏支路的跨模态行人重识别模型；

S3、将随机采样得到的可见光图片和红外图片分别输入模型进行训练，模型的深层网络作为教师指导浅层网络学习，进行知识自蒸馏，训练完成得到训练好的跨模态行人重识别模型；

S4、将待识别的行人图像根据模态输入训练好的跨模态行人重识别模型，得到待识别的行人图像特征；

S5、将待识别的行人图像特征与另一模态候选行人图像库中的行人图像特征进行相似度计算并排序，得到跨模态行人重识别结果。

2.根据权利要求1所述的跨模态的行人重识别方法，其特征在于，所述步骤S1中随机采样采用在线的采样策略，在每个mini-batch中随机采样P个行人类别，在每个行人类别中随机挑选K张可见光图片和K张红外图片，总共包含2PK张图片。

3.根据权利要求1所述的跨模态的行人重识别方法，其特征在于，所述步骤S2中采用Resnet50作为所述双流主干网络，Resnet 50包含5个Stage,Stage0-Stage4，将stage0作为特征提取部分，后面的4个Stage作为特征嵌入部分；

Stage0部分参数不共享，用于提取可见光模态和红外模态的模态专属信息；

两个模态的图片经过各自的stage0之后进入后面共享参数的网络中，参数共享的网络将前面网络提取出来的特征映射到同一特征子空间中。

4.根据权利要求1所述的跨模态的行人重识别方法，其特征在于，所述步骤S3中在训练阶段，每一个位于浅层的知识自蒸馏支路都作为学生被最深层的教师网络指导训练，所述知识自蒸馏部分的损失为：

L_Dist＝αL_soft+βL_hard+γL_fea，

其中，α，β，γ是知识自蒸馏平衡参数；

L_soft：深层分类器和各浅层分类器之间的KL散度损失，其中，KL散度用来度量深层教师网络和浅层学生网络的Softmax输出，通过引入KL散度，将深层网络学习到的知识指导给浅层网络,使两者分布接近；

L_hard：来自真实标签的交叉熵损失监督，来自标签的交叉熵损失监督所有的浅层分类器，它度量训练数据集的真实标签和每个浅层分类器的Softmax输出之间的差异；

L_fea：深层分类器和各浅层分类器池化后的特征之间的L2损失，用来计算最深层的网络提取出来的特征与各浅层网络提取出来的特征之间的L2损失，通过引入L2损失，将深层网络特征图中隐藏的知识引入到浅层的网络中，用高级的特征指导低级的特征。