[发明专利]一种基于卷积神经网络的跨模态行人重识别方法

说明书

本发明公开了一种基于神经网络的跨模态行人重识别方法，获取带有身份标注的跨模态训练数据集，所述训练数据集中每个训练样本包括一个身份对应的红外线模态图像和日光模态图像，将训练样本输入到基于Resnet‑50构建的网络模型中，通过分支网络获得多尺度的图像特征，并在其上计算模态间的特征对应关系，充分挖掘不同尺度的模态共有特征。构建联合损失函数筛选模态共有特征中具有身份区别性的特征。本发明将全局和局部特征联合作为行人的表征，在跨模态行人重识别任务取得了良好的效果。

技术领域

本申请属于图像处理技术领域，尤其涉及一种基于卷积神经网络的跨 模态行人重识别方法。

背景技术

ReID是图像检索的一类基本问题，它的目的是将查询集(query)中的 目标图像匹配到由不同相机捕获的gallery集中的图像。这是一个挑战，由 于变化的拍摄视角，目标形态，光照和背景。目前大多数存在的方法都聚 焦在可见光相机捕获的目标ReID问题，即单一模态ReID问题。然而，在 某些照明不足的场景下(如黑夜，暗光室内)，我们需要借助红外线摄像头 拍摄行人图像。因此，在这种跨模态设置下，ReID问题变得极具挑战性， 这本质上是一个跨模态检索问题。

跨模态行人重识别，主流的技术方案有通过特征对齐来弥合RGB和 IR图像之间的差距的特征学习方法和通过生成对抗网络来消除模态差异 或特征解缠的方法。特征学习的主流算法如Two-stream系列，通过网络在 双流网络上附加一些操作直接学习特征，算法精度较高，速度快，但当行 人外观改变较大时，对细节捕获能力不强。生成对抗网络的方法旨在利用 网络直接生成另一模态图像或接缠模态无关特征，但由于大量模态相关特 征的存在，导致图像生成的质量并不高，且花费时间巨大。

发明内容

本申请的目的是提供一种基于卷积神经网络的跨模态行人重识别方 法，在现有技术方案中引入多尺度特征对应模块，克服了当行人姿态变化 大时发现模态间对应细节的问题。

为了实现上述目的，本申请技术方案如下：

一种基于卷积神经网络的跨模态行人重识别方法，包括：

获取带有身份标注的跨模态训练数据集，所述训练数据集中每个训练 样本包括一个身份对应的红外线模态图像和日光模态图像；

将训练样本输入到基于Resnet-50构建的网络模型中，将所述Resnet- 50第三个残差层中第一个残差快输出的特征图记为F₃，所述特征图F₃送 入3个分支分别进行处理，得到特征图f_g、f_l1、f_l2、f_l3、f_l4、f_l5，包括：

第一分支包括Resnet-50第三个残差层剩余的残差块和第四个残差层， 提取出全局特征图f_g；

第二分支包括Resnet-50第三个残差层剩余的残差块和第四个残差层， 通过垂直均匀切片得到局部特征图f_l1、f_l2；

第三分支包括Resnet-50第三个残差层剩余的残差块和第四个残差层， 通过垂直均匀切片得到局部特征图f_l3、f_l4、f_l5；

分别计算红外线模态和日光模态特征图F₃、f_l1、f_l2、f_l3、f_l4、f_l5之 间的特征对应关系；

对红外线模态和日光模态特征图F₃、f_l1、f_l2、f_l3、f_l4、f_l5进行特征 重建，得到重建特征图