[发明专利]基于解纠缠和特征级差异学习的跨模态行人重识别方法

说明书

本发明涉及一种基于解纠缠和特征级差异学习的跨模态行人重识别方法，包括：采用可见光摄像机和红外摄像机采集多张行人图片形成数据集；选取可见光模态的两张图像记为x₁和x₂、选取红外模态的两张图像记为y₁和y₃，图像x₁和y₁共享身份信息，图像x₂和y₃不共享身份信息；获取自编码模型，分别对图像x₁、x₂、y₁和y₃解纠缠出风格特征和内容特征；获取生成与判别网络，对风格特征和内容特征进行重构得到多个新图像；获取特征级差异学习网络，对多个新图像和原图像进行特征学习，获取行人识别结果。与现有技术相比，本发明解决了可能存在的跨模态图像间内容信息(如姿态、体态)相近的问题、提升了模型判别的泛化能力、减少了模态间和模态内的差异。

技术领域

本发明涉及行人重识别方法领域，尤其是涉及一种基于解纠缠和特征级差异学习的跨模态行人重识别方法。

背景技术

近年来，随着计算机与人工智能技术的大力发展，视频监控系统大量普及。视频监控系统的广泛应用，有效地降低了公安机关的办案周期，在打击犯罪、维护社会治安中发挥着重要的作用。在实际应用中，在海量的视频数据中，针对特定目标的识别与检索是日常安保与破案地重要需求。随着摄像机监控网络的普遍布局，仅仅依靠人工的方法进行重识别也变得越来越不现实。因此，迫切需要一种技术来减轻有限人力资源的负担、增强识别的能力。

行人重识别旨在摄像机视图之间匹配行人图像，能够根据行人的穿着、体态、发型等信息认知行人，其在视频监控和跟踪等计算机视觉任务中具有潜在的广泛应用价值。然而，传统的行人重识别只能处理彩色图像间的单模态问题，对于黑暗的环境，例如在夜间，传统的行人重识别会受到光线昏暗因素的影响导致识别效果不佳，好在现在的摄像头大多具有可见光和红外两种识别模式，因此，红外成像变得很有必要，需要将彩色可见光图像与红外图像进行匹配。跨模态行人重识别是研究从红外模态的图像中检索给定的可见光模态行人图像的问题，该任务可以解决在黑暗环境中传统行人重识别的局限性。

虽然现有的跨模态行人重识别方法已经在许多实验中显示出不错的效果，但是加强对跨模态行人重识别的方法探索仍然是一项非常重要的任务。其中一个主要的问题就是可见光图像和红外图像之间存在巨大差异，两个模态间图像通道数不同、红外图像中没有颜色信息等，因此现如今的跨模态行人重识别系统性能普遍低于传统行人重识别；而另一个问题是除了由不同的相机光谱引起的跨模态差异外，跨模态行人重识别还会因不同的相机视角和人体姿态而产生较大的跨模态和模态内的变化，现有的方法主要通过缩小两个模态间的距离或进行特征级约束同时减少外观和模态差异，但这些方法可能很难消除混合差异和某些实例级的对齐错误。

综上所述，跨模态行人重识别方法是行人重识别领域当下具有挑战且关键的研究方向，尽管目前国内外的研究已经取得了很多优秀的研究成果，但是随着摄像头监控网络的快速发展，拍摄条件的复杂化，以及安防条件与需求的提高，目前已有跨模态行人重识别方法在重识别匹配精度上的表现并不能满足实际应用的需求，因此，本发明对跨模态行人重识别领域的研究将具有非常重要的理论意义和应用价值。

发明内容

本发明的目的就是为了克服上述现有技术存在可能很难消除混合差异和某些实例级的对齐错误的缺陷而提供一种同时减少模态内和模态间差异，并注重图像级和特征级相结合的基于解纠缠和特征级差异学习的跨模态行人重识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于解纠缠和特征级差异学习的跨模态行人重识别方法，包括以下步骤：

采用可见光摄像机和红外摄像机在不同的位置采集多张行人图片形成数据集，并对数据集中的图片进行预处理；