[发明专利]一种基于困难五元组的跨模态行人重识别方法

说明书

基于困难五元组的跨模态行人重识别方法，首先构建跨模态行人重识别模型，使用卷积神经网络提取图像特征，嵌入特征连接身份损失和排序损失，用单模态行人重识别数据集进行预训练；然后对训练批次图像进行选取，使用已有的单模态行人重识别网络进行行人特征提取，根据输入图像的特征向量构建困难五元组，困难五元组损失函数联合身份损失函数进行训练。最终在跨模态行人重识别数据集SYUS‑MM01上实现优越的精度。本发明将单一模态行人重识别迁移至跨模态行人重识别任务中，可扩展性、便利性高；收敛速度快、精度高。

技术领域

本发明涉及跨模态行人重识别领域，具体涉及一种训练跨模态行人重识别卷积神经网络的方法。

背景技术

行人重识别(Re-ID)是一种在视野不相交的多源监控摄像头中识别出此前出现过的行人的技术。行人重识别属于图像检索领域，可以应用在追踪逃犯、寻找丢失儿童的智能监控系统中。由于行人重识别重要的应用价值，行人重识别成为计算机视觉领域的研究热点。典型的行人重识别只使用RGB相机，即在RGB相机中识别一个此前在RGB相机中出现过的人，我们称之为RGB-RGB Re-ID。

然而，在很多场景中RGB相机和红外相机都会被使用。RGB相机在黑暗环境中不能拍摄到清晰的图像，通常红外相机替代RGB相机在黑暗环境中拍摄。因此，发展跨RGB模态和红外模态的行人重识别(RGB-IR Re-ID)的方法是有必要的。RGB-IR Re-ID是在RGB相机中识别一个此前在红外(IR)相机中出现过的人，或者在红外(IR)相机中识别一个此前在RGB相机中出现过的人的技术。

RGB-IR Re-ID的挑战主要体现在模态间和模态内的差异。首先，模态间的差异指行人图像在不同模态间巨大的变化。由于RGB相机和红外相机成像原理的不同，RGB图像拥有丰富的颜色和纹理信息，而红外图像是缺少颜色和一部分纹理信息的灰度图，因此RGB图像和红外图像可以视为异质数据。其次，模态内的差异指一个人在相同模态内也有很大的变化，相机视角、相机分辨率、光照和行人姿势的不同导致了模态内的差异。

面对上述挑战，现有RGB-IR Re-ID方法的精度都不高。

发明内容

本发明要克服现有技术的上述缺点，提出一种基于困难五元组的跨模态行人重识别方法，旨在获得一个更具判别性的特征描述子。

本发明解决其技术问题所采用的技术方案是：

一种基于困难五元组的跨模态行人重识别方法，含有以下步骤：

步骤1.构建跨模态行人重识别模型：预训练行人重识别卷积神经网络，重构行人重识别卷积神经网络；

步骤11：预训练行人重识别卷积神经网络；

训练MGN、BFE、Res-Mid、PCB、MLFN五种卷积神经网络；对于每种卷积神经网络，在RGB-RGB行人重识别的Market-1501数据集上进行预训练；使用困难三元组损失函数和身份损失函数来训练网络；

步骤12：重构行人重识别卷积神经网络：

改造现有的单模态行人重识别卷积神经网络，使其在跨模态行人重识别数据集(SYSU-MM01数据集)上适用，使用在单模态行人重识别数据集上表现优异的卷积神经网络模型作为本发明中的特征提取模块；

典型的单模态行人重识别卷积神经网络中，图像经过CNN模块得到特征图，特征图转成一维向量后添加一层全连接层(FC-1)，FC-1的输出表示该图像的特征向量；为了使该特征向量具有表征性，使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束；

步骤2.选取困难五元组集和：选取训练批次图像，提取特征向量，选取困难五元组集和；

步骤21：选取训练批次图像；