[发明专利]基于深度多示例学习的少样本行人重识别方法

说明书

本发明涉及一种基于深度多示例学习的少样本行人重识别方法，包括三个阶段：网络预训练阶段、数据集扩充阶段、网络微调阶段。行人重识别特征提取子网络预训练之后，利用行人关键点特征区域交换算法进行数据扩充；利用扩充的数据集对行人重识别特征提取子网络和特征聚合子网络进行微调；迭代重复数据集扩充和网络微调，直到特征提取子网络和特征聚合子网络收敛。一旦训练完成，即实现了利用少样本将原始域上的行人重识别模型迁移扩展至目标域上。本发明在给定目标域少量学习样本的前提上，能有效地将行人重识别模型迁移扩展到目标域监控网络中，具有精确度高、鲁棒性好、扩展性佳、可迁移的优点。

技术领域

本发明属于计算机图像分析技术领域，具体涉及一种基于深度多示例学习的少样本行人重识别方法。

背景技术

行人重识别算法旨在对多个不相交的摄像头捕捉到的行人图片进行识别匹配。在过去几年中，行人重识别任务已经受到了越来越广泛的关注，并且在大量自然场景下的应用中扮演着重要的角色，例如人群计数，安全监控等等。随着深度学习热潮地掀起，大量的基于深度模型的方法被研究提出用于解决监督学习下的行人重识别问题。这些方法或用于挖掘学习更具识别能力的特征表达，或学习更好的相似度度量，或结合上述两者。与此同时，行人重识别精度基线也被一次又一次地提升。

然而，这些基于监督学习的方法仍然受限制于行人重识别任务的实际应用于扩展。一方面的局限性来自于不同视角下的显著视觉特征差异，例如光照变化、姿态变化和不同的摄像距离等等。一般地，行人重识别任务通常发生横跨多个不相交的监控摄像，不同的摄像仪器的参数会放大不同数据域下的同一行人图像特征的差异。因此，不经过任何知识迁移或者微调而直接将原始域上训练好的行人重识别模型应用于目标域上，将对识别精度产生灾难性的衰减。另一方面的局限性来自于缺乏大量的配对行人图片的标注。不同于标准的分类任务，行人重识别任务要求采集同一行人身份在每个摄像头下的大量行人图片，并对他们进行身份标签标注。但是，人工地对横跨多个摄像头下的行人图片进行标注是一件非常困难和烦琐的工作。更重要的是，在现实场景中，一个摄像网络通常包括上百个摄像头(例如机场或者商场)，在这样的环境下采集标注足够的训练行人图片几乎是不可能的。

为了解决上述问题，一些基于半监督学习、无监督学习和生成对抗网络的工作被研究提出：

现有一种改进的无监督学习的行人重识别方法，利用聚类和微调的迭代过程，逐渐地将原始域上的深度特征表征能力迁移到未见过的目标域上。参见H.Fan等人公开的文章“无人监督的行人重识别：聚类和微调(Unsupervised person re-identification:Clustering and fine-tuning)”，《美国计算机学会多媒体处理、通信和应用汇刊》ACMTransactions on Multimedia Computing,Communications,and Applications(TOMM),14(4):83,2018。

另一种现有技术，利用行人属性语义空间学习和行人身份信息空间学习，并通过搭建学习两个空间之间的转换能力，从而实现在目标域上进行无监督行人重识别任务。参见J.Wang等人公开的文章“无人监督行人重识别的可转移联合属性—身份深度学习(Transferable joint attribute-identity deep learning for unsupervised personre-identification”)，CVPR(IEEE国际计算机视觉与模式识别会议),2018。

还有一种使用GAN来实现行人图片在不同数据域之间的转换，从而将原始域中带标签的行人图片转换到目标域中进行网络微调训练，使网络能够适用于新的目标环境。参见L.Wei等人公开的“行人迁移GAN连接区域差距的行人重识别(Person transfer GAN tobridge domain gap for person re-identification)”，CVPR,2018

发明内容