[发明专利]一种跨模态的行人重识别方法

说明书

本发明公开了一种跨模态的行人重识别方法，该方法首先构造与卷积神经网络最深层分类器具有相同结构的浅层分类器，然后使用最深层的分类器在多个维度上指导浅层分类器学习，通过这种方式，将来自深层的行人高级信息和数据集中的真实标签信息传递给浅层网络。随后，吸收了深层知识和真实标签信息的浅层网络提取的低层特征进一步促进较深层网络的高层特征学习，这样不断正向循环激励，推动网络学习有鉴别力的特征表示。该发明使用知识自蒸馏，网络模型充当自己的老师，不断正向推动，使模型能够提取到更具有鉴别力的特征表示，促进分类性能。

技术领域

本发明涉及行人重识别领域，更具体的说公开了一种跨模态的行人重识别方法。

背景技术

行人重识别是指给定一幅待查询人的图片，在不同摄像头采集的图像中通过人员匹配找出具有相同身份的人员。行人重识别较难的原因主要是由于姿势、穿着打扮、以及拍摄角度等不同造成的同一行人拍摄图像之间具有较大差异，而采集的不同行人的图像反而更相似。从而给身份识别带来了较大难度。由于行人重识别在智能视频监控和案件侦破等公共安全领域的广泛应用，大量学者致力于该问题的研究。现有的方法主要集中于可见光和可见光图像之间这种单模态内的行人重识别，即给定的待查询人员的图像是可见光形式，进行人员搜集的图像库里的图像也都是可见光形式。然而，由于可见光摄像头在光线比较弱，例如夜间的情况下很难铺捉到清晰人像，人们通常在夜间采用不太依赖光线的红外摄像头进行监控。因此，可见光和红外两种不同模态图像之间的跨模态行人身份重识别，引起广泛关注。即给定一种模态下的行人图像，从另一种模态图像中找到相同身份的行人图像。目前，可见光-红外这种跨模态行人重识别算法的进展远远落后于单模态的行人重识别。该项研究进展相对缓慢的原因在于其难度比单模态下的行人重识别更大。首先，最主要的是由于可见光和红外摄像机成像原理差异造成的模态差异。除此之外，还有如前所述的行人重识别问题共同存在的困难，即姿势、穿着打扮和拍摄角度等因素造成的模态内差异。

目前，针对可见光和红外图像的跨模态行人重识别方法已经有一些。这些方法主要从网络设计、度量学习和图像变换三个方面进行研究。其中，基于网络设计的方法旨在通过设计合适的深度学习网络来进行更好的特征表达，以实现更准确的识别。该类方法中，Wu等人首先建立了跨模态行人重识别图像数据库，然后提出了一种模态共享参数的单流网络结构。紧接着，多种单流结构的跨模态行人重识别算法被相继提出。然后，鉴于双流结构能够更好的进行模态专属信息和模态共享信息表达，又有学者提出了双流结构的跨模态行人重识别网络模型，即两个模态的图像对应网络结构的参数不共享。

例如，在现有文献《Hierarchical discriminative learning for visiblethermal person re-identification》中，模型的前半部分采用参数不共享的双流结构来提取模态专属信息，然后采用参数共享的全连接层将特征映射到同一空间中。

在现有文献《Enhancing the discriminative feature learning for visible-thermal cross-modality person re-identification》中，中级水平特征被融入到模态共享特征中以提升识别能力。鉴于设计合适的网络结构是一项耗时费力且收效不大的工作，而行人重识别在实际应用中往往对效率要求较高，所以该类方法的实用性较差。对于基于度量学习的方法，主要是通过设计好的损失函数，使得同一行人的特征距离更近，而不同行人的特征具体更远。目前，经典的损失函数包括异质中心损失、双模态三元组损失、难样本五元组损失等等。基于网络设计的方法和基于度量学习的方法均是从特征角度进行研究，以达到更准确的识别。而基于图像变化的行人重识别方法是从图像层面进行问题的处理，其主要思想是通过建立一个中间模态图像来减少可见光和红外两个模态之间的差异，以达到更准确识别的目的。现有的该类方法主要是借助生成对抗网络进行中间模态图像生成。这类方法比较典型的缺点是依赖现有图像生成算法的性能。现有方法的性能还有很大进步空间，还不能满足实际应用需求。

发明内容