[发明专利]一种基于困难五元组的跨模态行人重识别方法

权利要求书

1.一种基于困难五元组的跨模态行人重识别方法，含有以下步骤：

(1)构建跨模态行人重识别模型；

步骤11：预训练行人重识别卷积神经网络；

训练MGN、BFE、Res-Mid、PCB、MLFN五种卷积神经网络；对于每种卷积神经网络，在RGB-RGB行人重识别的Market-1501数据集上进行预训练；使用困难三元组损失函数和身份损失函数来训练网络；

步骤12：重构行人重识别卷积神经网络：

改造现有的单模态行人重识别卷积神经网络，使其在跨模态行人重识别数据集(SYSU-MM01数据集)上适用，使用在单模态行人重识别数据集上表现优异的卷积神经网络模型作为本发明中的特征提取模块；

典型的单模态行人重识别卷积神经网络中，图像经过CNN模块得到特征图，特征图转成一维向量后添加一层全连接层(FC-1)，FC-1的输出表示该图像的特征向量；为了使该特征向量具有表征性，使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束；

(2)选取困难五元组集和；

步骤21：选取训练批次图像；

设计一种针对跨模态行人重识别的训练批次选择方案；具体地，每个训练批次(Batch)中，在训练集中随机选择P个不同身份的行人，每个行人随机选择K张红外图片和K张RGB图片，一个Batch共计2PK张图片；

步骤22：提取特征向量；

采用卷积神经网络做为特征提取模块，由于卷积神经网络在图像领域强大的特征提取能力，能够从图像中提取具有表征性的特征向量；2PK张图片经过该模块，得到了2PK个特征向量；

步骤23：选取困难五元组集和；

对步骤22中得到的2PK个特征向量进行困难采样，得到困难五元组集和遍历每一张图片，为每一张图片采样一组困难五元组，i∈[1,2PK]；具体地，将第i张图片作为锚点在该训练批次中，选取作为最难全局负样本，即与锚点身份不同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最小；选取作为最难全局正样本，即与锚点身份相同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最大；选取作为最难跨模态负样本，即与锚点身份不同的跨模态图像，并且该图像与锚点的欧式距离最小；选取作为最难跨模态正样本，即与锚点身份相同的跨模态图像，并且该图像与锚点的欧式距离最大；遍历2PK中的每一张图像，即将每一张图像作为锚点进行困难五元组采样，将得到2PK个困难五元组(3)训练跨模态行人重识别模型：

步骤31：困难五元组损失训练网络：

根据步骤23中得到的困难五元组集和设计一种困难五元组损失函数(hard pentaplet loss)，该损失函数由两部分组成：困难全局三元组损失函数和困难跨模态三元组损失函数；

将两张图片x_i和x_j的欧式距离记为d(x_i,x_j)＝||f(x_i)-f(x_j)||₂，其中f(x_i)和f(x_j)分别代表图片x_i和x_j的特征向量；

为了减小行人图像在欧式空间的类内距离，并增大类间距离；设计困难全局三元组损失函数，记为：

其中，[z]₊＝max(z,0)，表示锚点与最难正样本间的欧式距离(欧式距离最大)，表示锚点与最难负样本间的欧式距离(欧式距离最小)，α是一个超参数，保证训练后的锚点与负样本间的距离大于与正样本间的距离，并保持α的冗余度；

在跨模态行人重识别中，模态间的变化往往大于模态内的变化，设计困难跨模态三元组损失函数，记为：

其中，表示锚点与最难跨模态正样本间的欧式距离(欧式距离最大)，表示锚点与最难跨模态负样本间的欧式距离(欧式距离最小)；当a≥K时，A＝{1,2,...,K}，否则，A＝{K+1,K+2,...,2K}；其余符号与公式1含义一致；该损失函数有助于减小模态间的变化；

困难五元组损失函数为困难全局三元组与困难跨模态三元组损失函数之和：

L_hp＝L_hgt+L_hct (3)

经过困难五元组损失函数的训练后，锚点与正样本间的距离减小，与负样本间的距离拉大；此外，该损失函数额外地关注模态间的变化，有助于减小不同模态相同身份行人在欧式空间中的距离；

步骤32：身份损失训练网络：

使用身份损失(Identity loss)来减小类内变化；将不同模态内的相同身份的行人视作为同一类，并用softmax loss表示：

其中，f为FC-2的输出向量，j∈[1,H]，f_j表示FC-2输出向量中第j个元素；y_i是输入图像x_i的标签，指x_i在输出向量中的得分。

2.如权利要求1所述的一种基于困难五元组的跨模态行人重识别方法，其特征在于：步骤11所述的在RGB-RGB行人重识别的Market-1501数据集上进行预训练，具体包括：在Market-1501数据集上训练180个epoch，batch size设置为64，学习率设置为0.0003，困难三元组损失的冗余度参数设置为0.9；

步骤12所述的使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束，具体包括：Ranking loss采用度量学习的思想，来减少类内距离和类间距离，所述的Ranking loss是困难五元组损失(hard pentaplet loss)；Identity loss采用交叉熵损失，将每个身份的行人作为一类，来减小类内距离，FC-2是全连接层，其神经元个数为训练集中行人身份的个数，根据SYSU-MM01训练集中的行人身份数量，将FC-2的神经元个数设置为395。