[发明专利]基于生成网络的行人重识别数据集扩充方法及系统

说明书

本发明提供一种基于生成网络的行人重识别数据集扩充方法、系统、介质及终端；所述方法包括以下步骤：基于行人重识别数据集获取行人图像并组成行人图像三元组；对所述行人图像三元组进行特征提取，获取行人特征和风格特征；对所述行人特征进行特征融合，获取多人融合特征；对所述多人融合特征、所述行人特征和所述风格特征进行图像重构，获取第一生成行人图像；对所述第一生成行人图像进行图像辨别，得到第二生成行人图像；对第二生成行人图片进行对比学习得到新的行人图像；对第二生成行人图片进行行人辨别，获取同行人合成的行人图像；使用所述新的行人图像和所述同行人合成的行人图像扩充所述行人重识别数据集。本发明通过生成行人，可以极大扩充行人重识别数据集的广度，提高行人重识别在各个场景的泛化能力，为工程落地铺下良好铺垫。

技术领域

本发明属于行人重识别技术领域，特别是涉及一种基于生成网络的行人重识别数据集扩充方法及系统。

背景技术

行人重识别技术(Person re-identification，Re-ID)也称行人再识别，是将跨探头下的同行人关联的技术，由于其在安防、商业上的广泛应用，该技术已经成为了计算机视觉的热门研究方向。当前行人重识别模型落地过程中，主要面对的问题就是数据集的贫乏和模型跨域能力的缺失。当前行人重识别的公开数据集只有Market1501，DukeMTMC等，且部分数据集因涉及隐私问题也已经下架，模型的数据来源成为了工程落地过程中的一大困难，其次，行人重识别模型在不同的季节，不同的场所表现均不一致，往往在一个场景下适应后的模型难以迁移到另一个场景，难以保证模型的效果。

对这些问题，英伟达曾提出过一个生成网络DG-Net，其通过训练网络来合成两个行人的图片为一个新的行人，从而极大地扩充了数据集的广度。但该研究的缺点也明显，即生成的行人的特征差异较大，即行人A的图片1，行人B的图片1合成的图片，和行人A的图片2，行人B的图片2合成的图片的差异会比较大，如果将其作为一个新的行人放到网络中训练，模型效果的稳定性也会受到很大影响。

发明内容

基于以上所述现有技术的缺点，本发明的目的在于提供一种基于生成网络的行人重识别数据集扩充方法及系统，通过一种改进的行人图片生成方法，不仅扩充原有数据集的容量，而且拉近了不同行人用不同图片对生成的行人图片之间的特征距离，拉远了生成的行人和生成该行人的行人之间的特征距离，从而稳定生成效果，并保证生成的行人不会与其他行人之间过于相像。

为实现上述目的和其他相关目的，本发明一方面提供一种基于生成网络的行人重识别数据集扩充方法，所述基于生成网络的行人重识别数据集扩充方法包括以下步骤：基于行人重识别数据集获取行人图像，将所述行人图像组成行人图像三元组；对所述行人图像三元组进行特征提取，获取行人特征；对所述行人特征进行特征融合，获取多人融合特征；对所述行人图像三元组进行风格提取，获取风格特征；对所述多人融合特征、所述行人特征和所述风格特征进行图像重构，获取第一生成行人图像；对所述第一生成行人图像进行图像辨别，得到第二生成行人图像；对所述第二生成行人图像进行特征提取，得到第二生成行人特征，将所述第二生成行人特征与所述行人特征进行对比学习，得到新的行人图像；对所述第二生成行人图像进行特征提取，得到第二生成行人特征，基于生成网络将所述第三生成行人特征与所述行人特征进行行人辨别，获取同行人合成的行人图像；使用所述新的行人图像和所述同行人合成的行人图像扩充所述行人重识别数据集。

于本发明的一实施例中，对所述行人特征进行融合，获取多人融合特征包括以下步骤：对所述行人特征两两组队，获取特征组；对所述特征组进行平均和线性处理，得到与所述行人特征长度一致的第一输出特征；对所述特征组进行特征组合并进行线性处理，得到与所述行人特征长度一致的第二输出特征；对所述第二输出特征进行激活函数映射，得到所述第二输出特征的权重；对所述第一输出特征与所述权重进行相乘，得到所述多人融合特征。