[发明专利]基于合成数据生成和协同优化的域适应行人重识别方法

说明书

本发明提供了一种基于合成数据生成和协同优化的域适应行人重识别方法。首先，利用大型电子游戏侠盗猎车手GTA V构建一个合成数据采集器，并利用Mask RCNN和哈希值构建标注信息，得到最大规模的合成行人重识别数据集；然后，利用合成数据集进行特征编码器预训练；接着，构建多域协同优化网络模型，并利用已有数据集对模型进行训练；最后，利用训练好的网络模型实现数据集的行人识别检测。本发明能够显著降低采集和标注的成本，具有较强的泛化能力，能够显著提升无监督跨域行人重识别任务的性能。

技术领域

本发明属计算机视觉、图像检索技术领域，具体涉及一种基于合成数据生成和协同优化的域适应行人重识别方法。

背景技术

作为一个经典的图像检索和是计算机视觉任务，行人重识别致力于在给定一个监控行人图像后，从其他多个位置的摄像头采集的图像或者视频序列中检索该行人的方法。随着公共安全的迫切需求以及在大学校园、公园和街道等公共场所监控摄像头数量的不断增加，这项技术已被广泛应用于商业、安防、搜寻等领域。如何识别、定位出监控中的特定行人，对于刑事侦查、搜寻救援等具有很重要的意义。Ye等人在文献“Ye,Mang,JianbingShen,Gaojie Lin,Tao Xiang,Ling Shao,and Steven CH Hoi.Deep learning forperson re-identification:A survey and outlook.IEEE Transactions on PatternAnalysis and Machine Intelligence(2021).”中总结了行人重识别近年来的发展，但也指出行人重识别仍然受到视角变换、光照改变、行人遮挡等因素导致不同数据之间的差异。

行人重识别方法一般包括五个步骤：摄像头采集数据、数据预处理、数据标注、模型设计与训练、模型测试与泛化。受益于深度学习的快速发展和标注数据集的构建，基于监督学习的行人重识别方法已经取得了显著的成果。但是现有方法仍然具有如下的缺点：(1)缺乏大规模精确标注数据，精确标注大规模的数据集不得不耗费大量人力物力，采集和标注行人也会侵犯个人隐私；(2)模型训练过拟合，由于大规模精确标注数据的匮乏使模型很难得到充分训练；(3)泛化能力差，由于不同数据集之间的差异，导致训练在一个数据集(源域)上得模型迁移到其他未标注的数据集或真实场景(目标域)上时，产生了严重的性能退化。

为解决上述问题，一些研究开展了新的探索，如在数据集构建层面，通过使用商业虚拟人物生成软件进行合成数据采集和标注，但由于生成软件的局限性，合成数据集只能提供简单场景和和不真实的人物模型，致使训练在一个合成数据集上的模型迁移到未标注的真实数据集上时，模型的性能产生了更加严重的退化；在模型设计层面，设计了基于无监督学习的模型，包含基于源域转化的方法和基于目标域的伪标签生成办法。前者通过对抗生成网络对源域的数据实施域转化，生成域转化数据，但在域转化后直接丢弃了源域；后者利用聚类算法对无标注目标域的数据实施聚类，产生伪标签(簇)，但是产生的伪标签往往含有大量噪声，并不精确，同时源域与目标域之间的差异并未得到有效的处理。

发明内容

为了克服现有技术的不足，本发明提供一种基于合成数据生成和协同优化的域适应行人重识别方法。首先，利用大型电子游戏侠盗猎车手(GTA V)构建了一个合成数据采集器，并利用Mask RCNN和哈希值构建了标注信息，得到了最大规模的合成行人重识别数据集；然后，利用合成数据集进行特征编码器预训练；接着，构建了多域协同优化网络模型，并利用已有数据集对模型进行训练；最后，利用训练好的网络模型实现数据集的行人识别检测。本发明利用电脑软件进行数据的自动采集和标注，能够显著降低采集和标注的成本，同时避免侵犯个人隐私；通过实现多个域之间的混合训练和多路协同训练，能够解决当前基于无监督域适应的行人重识别方法训练不充分、泛化能力差的问题，具有较强的泛化能力，能够显著提升无监督跨域行人重识别任务的性能。

一种基于合成数据生成和协同优化的域适应行人重识别方法，其特征在于步骤如下：