[发明专利]一种基于姿势引导对抗学习的端到端的行人再识别方法

权利要求书

1.一种基于姿势引导对抗学习的端到端的行人再识别方法，其特征在于：具体包括以下步骤：

步骤1，使用行人再识别数据集来训练图像编码器；

步骤2，固定训练完成的图像编码器的参数部分，生成器根据编码器提取的输入图像的特征和目标姿势图来生成具有与输入图像相同身份且具有目标姿势的行人图像；

步骤3，将身份判别器和姿势判别器整合到网络中，用身份判别器和姿势判别器来训练生成器以规范图像生成的过程；

步骤4，端到端地优化整个网络模型；

步骤5，提取待查询图像的特征，计算待查询图像与测试图像的特征向量之间的余弦距离来进行排名，从而得到待查询图像的识别结果。

2.根据权利要求1所述的一种基于姿势引导对抗学习的端到端的行人再识别的方法，其特征在于：所述步骤1中包括如下步骤：

步骤1-1，利用DenseNet-169作为图像编码器的基础网络；

步骤1-2，使用行人再识别数据集对编码器预训练。

3.根据权利要求1所述的一种基于姿势引导对抗学习的端到端的行人再识别的方法，其特征在于：所述步骤2中包括如下步骤：

步骤2-1，固定训练完成的图像编码器的参数部分；

步骤2-2，利用图像编码器将输入图像编码为2048维的特征向量，将目标姿势图输入到由一系列的卷积层、批归一化层、丢弃层和激励函数构成的子网络中，姿势图被提取为128维的姿势特征向量；

步骤2-3，为了使编码器学习的特征更具鲁棒性并且消除姿势相关的信息，生成器根据编码器提取的输入图像的特征、姿势编码器提取的目标姿势图的特征以及256维的高斯噪声向量来生成具有与输入图像相同身份且具有目标姿势的行人图像。

4.根据权利要求1所述的一种基于姿势引导对抗学习的端到端的行人再识别的方法，其特征在于：所述步骤3中包括如下步骤：

步骤3-1，将身份判别器和姿势判别器整合到原来的网络中；

步骤3-2，训练身份判别器D_id来区分生成的图像与输入的图像是否属于同一个人，y代表具有目标姿势p且与输入图像x相同身份的生成图像，y₁代表具有目标姿势p且与输入图像x相同身份的真实图像；

步骤3-3，提出姿势判别器D_pd来区分生成图像的姿势是否与目标姿势p相匹配，其采用PatchGAN结构；

步骤3-4，为了规范图像编码器只学习身份有关的信息，用身份判别器D_id和姿势判别器D_pd来训练生成器G以生成具有目标姿势p的行人图像，身份判别器D_id用来保留编码器提取的与身份有关的特征，而姿势判别器D_pd用来消除与姿势有关的特征，生成器G尝试欺骗身份判别器D_id来确保编码器提取的特征包含足够的身份有关的信息，同时试图欺骗姿势判别器D_pd以获得与生成图像接近的高度匹配的置信度。

5.根据权利要求1所述的一种基于姿势引导对抗学习的端到端的行人再识别的方法，其特征在于：所述步骤4中包括如下步骤：

首先加载预训练的编码器和生成器的权重，采用Adam算法来优化，然后加载预训练的身份判别器和姿势判别器的权重，采用随机梯度下降算法来优化，最后将编码器、生成器、身份判别器和姿势判别器的初始学习率分别设置为10^-6、10^-6、10^-4、10^-4，学习率在前25次迭代过程中保持不变，在后25次迭代中衰减为0，端到端地优化整个网络模型，从而消除姿势变化对行人再识别的影响，使得最终的模型更具鲁棒性。

6.根据权利要求1所述的一种基于姿势引导对抗学习的端到端的行人再识别的方法，其特征在于：所述步骤5中包括如下步骤：

步骤5-1，计算编码器提取的待查询行人图像的特征与测试图像特征的余弦距离；

步骤5-2，对余弦距离从大到小进行排序，选取与待查询图像余弦距离最大的测试图像，即为所查询的行人。