[发明专利]基于相机风格和人体姿态适应的半监督人物重识别方法

权利要求书

1.基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，包括：

选取涵盖所有身份、所有相机风格的有标签数据的步骤；

对所述的有标签数据进行数据扩充、生成相机内不同姿态的图像和相机间不同风格的图像的步骤；

扩充后的有标签数据联合无标签数据一起训练网络模型的步骤；

以无标签数据与有标签数据特征之间的平均距离和各类别图像的个数相约束的策略进行伪标签分配的步骤；

具体包括以下步骤：

步骤1、预训练GAN网络模型，得到用于生成不同相机风格的图像的模型和用于生成不同姿态的图像的模型；

步骤2、选择有标签数据：从数据集中每个类别下的每个相机图像中各随机选取一张为有标签数据，其余的为无标签数据；

步骤3、扩充有标签数据：使用步骤1中预训练好的GAN网络模型对有标签数据进行数据扩充，得到的不同风格、不同姿态的图像对和原始图像对属于同一行人，都作为有标签数据；

步骤4、有标签数据和无标签数据联合训练网络，其中无标签数据因为没有行人身份信息，使用它们的索引作为标签，这些使用索引作为标签的无标签数据称为索引标签数据；将有标签数据的损失和无标签数据损失相结合，在训练时使用基于动量的梯度下降法更新优化网络参数，优化模型；

步骤5、有标签数据的损失计算：包括有标签数据的交叉熵损失和有标签数据的困难三元组损失；

步骤6、无标签数据的损失计算：包括多样性损失；

步骤7、无标签数据的伪标签估计：使用步骤5、6中的损失训练一个模型，采用得到的模型提取无标签数据的特征，根据无标签数据与有标签数据特征之间的平均距离进行伪标签估计；

步骤8、无标签数据分配为伪标签数据：按照伪标签估计的置信度，结合各类别图像的个数相约束的策略,选取可靠伪标签估计的无标签数据分配伪标签；

步骤9、迭代步骤3-8，采用渐进式方式不断从无标签数据中分配伪标签数据，直到所有无标签数据都分配为伪标签数据。

2.根据权利要求1所述的基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，步骤1中，使用人物重识别数据集预训练CycleGAN网络模型，将数据集中的图像按照身份和相机两个信息进行分类，同一身份在不同相机下的图像预训练一个风格转换GAN网络，用来生成不同相机风格的图像，称为Camera GAN，得到表现良好的生成模型G_c；借助关键点检测算法获取行人的人体部位关键点信息，利用关键点信息对同一相机下的相同身份的图像预训练一个姿态转换GAN网络，用来生成不同姿态的图像，称为Pose GAN，得到表现良好的生成模型G_p。

3.根据权利要求2所述的基于相机风格和人体姿态适应的半监督人物重识别方法，其特征在于，步骤3中，针对不同相机捕获到的图像风格不统一的问题，在具有相同身份不同相机信息的图像对之间使用G_c模型生成彼此风格的图像；针对行人多变的外观，在具有相同身份相同相机信息的图像对之间使用G_p模型生成彼此姿态的图像；

其中，有标签数据n代表数据集中身份的个数，其中第i个身份被m_i个相机捕获到，所以第i个身份有m_i个来自不同相机图片为有标签数据；

第一次迭代时只有相机间的风格转换；每一个身份的有标签图像按照排列组合的方式得到不同相机风格的图像对，第i个身份不同相机风格之间排列组合得到的图像对为：

这些图像对作为G_c模型的输入，使用预训练好的模型生成彼此风格的图像，第i个身份的m_i个有标签数据扩充之后得到m_i(m_i-1)/2个有标签数据，扩充后的有标签数据和原始有标签数据等价。