[发明专利]一种基于视频轨迹特征关联学习的无监督行人重识别方法

说明书

本发明属于计算机视觉领域，涉及一种基于视频轨迹特征关联学习的无监督行人重识别方法，包括以下步骤：输入行人重识别视频数据集；对行人重识别视频数据集进行稀疏时空轨迹采样，得到行人视频轨迹样本，组成行人视频轨迹；对行人视频轨迹样本进行预训练，获得行人重识别预训练网络模型；在行人重识别预训练网络模型中添加全连接层，构建视频轨迹特征向量表；根据行人视频轨迹特征向量表进行轨迹联合学习，得到联合学习损失函数；更新视频轨迹特征向量表；模型训练；进行无监督测试；通过对相机内和相机间视频轨迹特征向量的联合学习，挖掘行人轨迹潜在的关系，提高了模型的特征提取能力，取得了突出的行人重识别性能。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于视频轨迹特征关联学习的无监督行人重识别方法。

背景技术

近年来，有研究者提出了无监督行人重识别的方法；无监督的设定是指对每一个行人视频数据样本，不标上标签或者打上伪标签，伪标签只是用来代表一个行人的数据样本图片，并不具有任何的指导意义；通过自动行人检测算法将每一个视频片段中检测到的所有行人图像作为一个独立的无监督样本，并标上相对应的伪标签，该方法平衡了标记数据和识别性能的需求；虽然现有的基于无监督的行人重识别方法在一定程度上降低了行人重识别任务的标注成本，但识别精度相比于全监督方法仍然不高；主要是由于在无监督的设定下，样本与身份间的对应关系不明确，让网络难以充分地学习到重要的信息；再者无监督的数据样本是随机抽取的，每个样本与它对应的轨迹可能不相同，这类情况会降低算法的鲁棒性。

发明内容

本发明的目的在于克服上述现有技术的不足，提供了一种在无监督设定下能够明确样本与身份间对应关系的行人重识别方法，具体为一种基于视频轨迹特征关联学习的无监督行人重识别方法。

本发明提供了一种基于视频轨迹特征关联学习的无监督行人重识别方法，具体包括如下步骤：

S1：输入行人重识别视频数据集，数据集由视频片段组成，视频片段包括多条行人轨迹和多张行人图像；

S2：对行人重识别视频数据集进行稀疏时空轨迹采样，得到行人视频轨迹样本；在视频片段中为每条行人轨迹抽出相同数量的帧，给上相机标签，组成行人视频轨迹；

S3：对行人视频轨迹样本进行预训练，获得行人重识别预训练网络模型；

S4：在行人重识别预训练网络模型中添加全连接层，全连接层用于提取每张行人图像的特征，构建视频轨迹特征向量表；

S5：根据行人视频轨迹特征向量表进行轨迹联合学习，得到联合学习损失函数，其包括：

相机内轨迹联合学习，对每张行人图像进行特征学习，获取视频轨迹特征向量表中每张行人图像的特征；根据行人轨迹整合每张行人图像的特征，得到视频轨迹特征向量；根据行人图像的特征和视频轨迹特征向量，得到正样本和负样本，从而得到相机内行人联合学习损失函数；

相机间轨迹联合学习，获取视频轨迹特征向量表中每张行人图像的特征，将相机中一个行人视频轨迹中每张行人图像，与其它相机的每个行人视频轨迹中每张行人图像进行特征相似度计算，按照特征相似度将行人视频轨迹进行排序，并交换计算顺序，交叉验证相似度最高的两个行人视频轨迹的身份，得到相机间联合学习损失函数；

S6：更新视频轨迹特征向量表；

S7：模型训练，基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型；在行人视频轨迹样本上训练无监督视频轨迹特征向量关联学习行人重识别模型；优化模型；

S8：进行无监督测试，通过对相机内和相机间行人视频轨迹的联合学习，挖掘行人轨迹潜在关系；通过评估策略，评估无监督视频轨迹特征向量关联学习行人重识别模型的性能。

优选的，S1中，行人重识别视频数据集包括不同相机的多个视频片段。