[发明专利]基于合成数据生成和协同优化的域适应行人重识别方法

权利要求书

1.一种基于合成数据生成和协同优化的域适应行人重识别方法，其特征在于步骤如下：

步骤1，数据采集和标注：在252公里的GTA V虚拟世界中选择包括商场、街道、山区和沙漠地带在内的26个不同环境的场景，在每一个场景设置12个不同高度和旋转角度的视角，并随机选定天气状况和时间，让游戏中的2369个人中分别在每一个选择的场景中沿数据采集者预先指定的方向行走并做出随机动作，在每一个场景从设置的12个视角采集人的图像，得到游戏合成的行人图像数据集，再利用Mask RCNN算法对数据集中的每一幅图像进行分割处理，得到去除冗余背景信息后的图像，每幅图像中的人的身份、场景和视角的哈希值，构成图像的标注信息；

步骤2，基于合成数据的模型预训练：将步骤1得到的游戏合成行人图像数据集输入到生成对抗网络eSPGAN，输出得到与真实世界采集的数据具有相似图像风格的图像数据集；然后，将得到的合成数据与原行人图像数据输入到特征编码器进行预训练，得到预训练后的特征编码器；所述的特征编码器为iBN-ResNet-50网络；

步骤3，多域协同训练：以Market1501数据集作为源域数据，以DukeMTMC-ReID数据集作为目标域数据，对多域协同优化网络模型进行训练，训练次数设置为60，其模型参数按照以下公式进行更新，得到训练好的模型：

M^k(θ)＝αM^k-1(θ)+(1-α)θ^k (1)

其中，M^k(θ)表示第k次迭代训练得到的更新的编码器参数，M^k-1(θ)表示第k-1次迭代训练得到的更新的编码器参数，θ^k是第k次迭代训练时编码器反向传播更新的参数；α是缓步更新系数，可取值范围为(0,1]；k表示迭代训练次数；

所述的多域协同优化网络模型包括风格相似混合学习模块和关系不变混合学习模块，其中，风格相似混合学习模块包括转化器、特征编码器、标签生成器，源域图像数据输入到转化器得到域转化数据，域转化数据和目标域数据再同时输入到预训练后的特征编码器，得到风格相似的多域混合特征，得到的特征经标签生成器，得到不同簇的伪标签；关系不变混合学习模块包括特征编码器、标签生成器，将源域数据和目标域数据同时输入到特征编码器，再经标签生成器，得到相应的伪标签；所述的转化器采用生成对抗网络eSPGAN，所述的特征编码器采用步骤2得到的预训练后的特征编码器，所述的标签生成器采用DBSCAN聚类算法对输入数据进行聚类处理，以标签生成器得到的伪标签作为分类目标；

步骤4，行人识别检测：将DukeMTMC-ReID数据集输入到步骤3训练好的多域协同优化模型，对模型两个模块中的特征编码器的输出特征按下式进行加权平均融合，得到最终的行人识别检测结果：

其中，y₀表示最终的行人识别检测结果，λ表示两个模块之间的平衡系数，取值为0.5，C₁和C₂分别表示风格相似混合学习模块和关系不变混合学习模块的特征分类器；f₁^t和分别表示风格相似混合学习模块和关系不变混合学习模块的特征编码器的输出特征。