[发明专利]一种基于姿势引导对抗学习的端到端的行人再识别方法

说明书

一种基于姿势引导对抗学习的端到端的行人再识别方法，具体包括以下步骤：步骤1，使用行人再识别数据集来训练图像编码器；步骤2，固定训练完成的图像编码器的参数部分，生成器根据编码器提取的输入图像的特征和目标姿势图来生成具有与输入图像相同身份且具有目标姿势的行人图像；步骤3，将身份判别器和姿势判别器整合到网络中，用身份判别器和姿势判别器来训练生成器以规范图像生成的过程；步骤4，端到端地优化整个网络模型；步骤5，提取待查询图像的特征，计算待查询图像与测试图像的特征向量之间的余弦距离来进行排名，从而得到待查询图像的识别结果。

技术领域

本发明属于模式识别技术领域，具体涉及一种基于姿势引导对抗学习的端到端的行人再识别方法。

背景技术

行人再识别是近几年智能视频分析领域兴起的一项新技术，主要用于公共场所的视频监控系统中的人像识别。大量的监控摄像头应用在公共场所，进行24小时连续的监控，仅仅依靠人力和传统的视频监控技术会消耗大量的物力和财力，这是得不偿失的。监控视频可为公安机关提供诸如人口失踪、财产盗窃、聚众闹事等重大刑事案件的线索。

行人再识别是一项具有挑战的任务，其目的是在多个摄像头下匹配具有相同身份的行人图像，即给定已知身份的待查询行人图像从其他摄像头中将该行人检索出来。随着深度学习方法的广泛使用，不同算法的性能迅速提高，然而姿势变化、模糊和遮挡等因素对学习判别性的特征构成巨大的挑战。目前，通过对齐行人图像或整合人体姿势信息来解决这些问题。有些工作需要在测试期间加入辅助的姿势信息，从而限制了算法在没有姿势信息的情况下对新图像的概括能力，同时姿势估计的复杂推断也会导致计算成本的增加。近年来，生成对抗网络越来越受到图像生成的关注，一些作品利用生成对抗网络(GenerativeAdversarial Network,GAN)来辅助行人再识别算法。Zheng等人提出了一种半监督结构，利用标签平滑正则化来学习如何生成图像。PTGAN被提出用于弥合不同数据及之间的领域差距。但是通过GAN学习判别特征来生成的图像效果并不是很好而且行人再识别网络与GAN是两个独立的结构，没有很好地将两者进行融合。

发明内容

本发明针对现有技术的不足，提出了一种基于姿势引导对抗学习的端到端的行人再识别的方法，利用行人目标姿势来引导对抗学习，从而使得编码器只提取身份有关的特征，解决了姿势变化对行人再识别干扰的问题，更利于现实场景的应用，从而更好地提高了行人再识别的准确度。

一种基于姿势引导对抗学习的端到端的行人再识别方法，具体包括以下步骤：

步骤1，使用行人再识别数据集来训练图像编码器；

步骤2，固定训练完成的图像编码器的参数部分，生成器根据编码器提取的输入图像的特征和目标姿势图来生成具有与输入图像相同身份且具有目标姿势的行人图像；

步骤3，将身份判别器和姿势判别器整合到网络中，用身份判别器和姿势判别器来训练生成器以规范图像生成的过程；

步骤4，端到端地优化整个网络模型；

步骤5，提取待查询图像的特征，计算待查询图像与测试图像的特征向量之间的余弦距离来进行排名，从而得到待查询图像的识别结果。

进一步地，所述步骤1中包括如下步骤：

步骤1-1，利用DenseNet-169作为图像编码器的基础网络；

步骤1-2，使用行人再识别数据集对编码器预训练。

进一步地，所述步骤2中包括如下步骤：

步骤2-1，固定训练完成的图像编码器的参数部分；

步骤2-2，利用图像编码器将输入图像编码为2048维的特征向量，将目标姿势图输入到由一系列的卷积层、批归一化层、丢弃层和激励函数构成的子网络中，姿势图被提取为128维的姿势特征向量；