[发明专利]基于通道重组和注意力机制的跨模态行人重识别方法

说明书

本发明属于图像识别技术领域，特别涉及一种基于通道重组和注意力机制的跨模态行人重识别方法，通过构建用于对输入数据进行特征向量提取并进行特征匹配的跨模态行人重识别模型，利用行人图像数据集对模型进行训练，其中，跨模态行人重识别模型利用分组卷积和通道重组操作来挖掘红外模态和可见光模态下行人的图像共享特征，利用注意力机制挖掘行人的局部特征，利用特征向量相似度来进行特征匹配；利用跨模态行人识别模型分别提取红外模态和可见光模态下的目标行人特征向量，通过特征匹配来完成跨模态行人重识别。本发明提取行人两个模态之间的共享特征及不同模态行人图像之间的潜在关系及行人身体不同位置之间的局部特征联系，提升跨模态行人重识别能力。

技术领域

本发明属于图像识别技术领域，特别涉及一种基于通道重组和注意力机制的跨模态行人重识别方法。

背景技术

行人重识别是图像检索的一个子任务,目的是在一系列由独立监控摄像头拍摄的图像中寻找特定的人，即判断跨镜头下是否是同一个行人。行人重识别技术在现实生活中受到图像分辨率低、不同的光照条件及视角、行人姿态变化以及外界遮挡等许多挑战，在这些因素下，即使是同一个行人，在不同的摄像头下也会造成很大的外观差异，难以区分。现有技术中，“可见光—红外”跨模态行人重识别的数据集——SYSU-MM01，采用深度零填充的方法缓解了跨模态数据信息之间的对齐问题，获得了较好的识别精度；利用双流神经网络获取不同模态之间的特征，将其映射到同一特征空间中，并使用对比损失函数来约束不同模态数据分布之间的一致性；将可见光图像信息和红外图像信息互相转换的方法以减小模态间的差异，提取相应模态下的行人图像特征；利用像素对齐的方法来缓解模态差异问题，并提出联合判别的策略来保持对齐过程中的身份一致性；利用端到端的双流超球面流形嵌入模型来约束模态内和模态间的变化；利用异质中心损失，通过约束两个异质模态之间的类内中心距离来监督网络学习跨模态图像间的不变信息，以减少类内交叉模态的变化；通过跨模态共享及非共享特征转移算法，采用多流结构的基线网络来提取特征。为了减少两种模态图像差异，也有在跨模态行人重识别中引入生成对抗网络，通过跨模态生成对抗网络(cmGAN)，从两种模态中学习具有判别力的特征。随着生成对抗网络(GAN)的发展，基于GAN网络的跨模态行人重识别方法有效地实现了图像风格的转变，进一步减小了模态差异，保留身份一致性。

但，现有方法通常侧重于学习全局特征，忽略了行人之间局部共享特征及同一行人不同模态图像之间的潜在关系。此外，还容易引入噪声从而影响跨模态行人重识别的准确率。注意力机制对于较大的模态差异和噪声会着重强化某一特定的信息从而忽略行人的其他特征。

发明内容

为此，本发明提供一种基于通道重组和注意力机制的跨模态行人重识别方法，通过提取行人两个模态之间的共享特征，挖掘不同模态行人图像之间的潜在关系及行人身体不同位置之间的局部特征联系，提升跨模态行人重识别能力，具有较好的鲁棒性，便于实际场景应用。

按照本发明所提供的设计方案，提供一种基于通道重组和注意力机制的跨模态行人重识别方法，包含如下内容：

构建用于对输入数据进行特征向量提取并进行特征匹配的跨模态行人重识别模型，并利用行人图像数据集对模型进行训练，其中，跨模态行人重识别模型利用分组卷积和通道重组操作来挖掘红外模态和可见光模态下行人的图像共享特征，利用注意力机制挖掘行人的局部特征，并利用特征向量相似度来进行特征匹配；

利用已训练的跨模态行人识别模型分别提取红外模态和可见光模态下的目标行人特征向量，并通过两个模态下目标行人特征向量的特征匹配来完成跨模态行人重识别。

作为本发明基于通道重组和注意力机制的跨模态行人重识别方法，进一步地，跨模态行人重识别模型包含：用于特征提取的ResNet-50主干网络，嵌在ResNet-50主干网络中用于分组卷积和通道重组的模态内特征通道分组重组模块，用于挖掘模态内特征通道分组重组模块输出特征向量中局部特征的聚合特征注意力模块，及用于对不同模态下特征信息进行交互融合的跨模态自适应图结构模块。