[发明专利]基于聚类引导和成对度量三元组损失的行人重识别方法

说明书

本发明公开了一种基于聚类引导和成对度量三元组损失的行人重识别方法。本发明步骤：1、基于深度学习网络输出的特征和其对应的标签，获取相似度矩阵；2、计算成对度量中的余弦相似度度量难样本采样损失；3、计算成对度量中的欧式相似度度量难样本采样损失。4、计算聚类引导修正项，并融合所有损失得到聚类引导和成对度量三元组损失。5、聚类引导和成对度量三元组损失与基于表征学习的交叉熵损失结合得到最终损失，加入网络参数训练更新。本发明结合成对度量方式使得深度学习模型能够互补性地从不同角度挖掘样本相似度，并通过聚类引导的修正项最大化样本之间的相似度，最终应用到行人重识别的深度学习训练中提高模型的表现。

技术领域

本发明属于计算机视觉和模式识别领域，涉及一种基于相似度聚类引导和成对相似度度量三元组损失的行人重识别方法。

背景技术

近年来，由于在公共场所(校园，购物中心，机场，医院等)广泛使用大型多摄像机监视系统以及对智能监视和安全系统的需求，行人检测，行人重识别等技术得到了快速的发展。在计算机视觉领域，行人重识别(Person Re-identification)被认为是行人跟踪系统中的下一个高级任务，其旨在预测不同多摄像机监视下行人的身份对应关系。当前解决行人重识别问题主要采用深度学习的方法，并以提取特征后直接学习特征张量与标签对应关系的表征学习方法，和学习特征张量之间相似度度量关系的度量学习方法这两种方法为主。

现有的行人重识别度量学习研究主要在三元组损失函数的基础上提出各种改进，这些度量学习工作存在以下两个问题：

1.较早的工作通过发掘深度网络提取的特征之间自身的相关性来对三元组损失函数进行提升，但是这些工作由于时间过久，存在与现有神经网络无法兼容的问题；

2.较新的工作通过在三元组损失函数中引入附加的权重因子实现自主调节和自主学习，但是新引入的参数会增加模型的计算复杂度和网络训练设置的调参难度。

本发明通过在三元组损失中引入欧式度量和余弦度量两种相似度度量方法，提出成对度量三元组损失，并在成对度量三元组损失的基础上引入聚类引导的修正项，提出了基于聚类引导和成对度量三元组损失。本发明在特征空间中引入成对的度量方式，互补性地量化特征分别在欧式距离和余弦距离中的相似性，但是成对度量主要提高了同一标签的不同样本之间的精度，无法解决异常值过多的问题。因此，在此基础上采用了聚类指导的修正项，作用于具有相同标签的所有样品以进行挖掘样本的相似性，同时减弱离群值对损失的影响，有效提高了行人重识别的排名序列准确率和平均精度。

发明内容

针对现有行人重识别方法存在的不足，本发明提出基于聚类引导和成对相似度度量三元组损失的行人重识别方法。本发明提高以难样本采样三元组损失为基础的度量学习的性能，结合成对度量方式使得深度学习模型能够互补性地从不同角度挖掘样本相似度，并通过聚类引导的修正项最大化样本之间的相似度，最终应用到行人重识别的深度学习训练中提高模型的表现。

本发明的技术方案主要包括如下步骤：

步骤1、基于深度学习网络输出的特征和其对应的标签，获取相似度矩阵；

步骤2、计算成对度量中的余弦相似度度量难样本采样损失；

步骤3、计算成对度量中的欧式相似度度量难样本采样损失。

步骤4、计算聚类引导修正项，并融合所有损失得到聚类引导和成对度量三元组损失。

步骤5、聚类引导和成对度量三元组损失与基于表征学习的交叉熵损失结合得到最终损失，加入网络参数训练更新。

所述的步骤1具体包括以下几个步骤：

1-1、传入深度学习网络输出的特征其中b为训练批次，c为张量维数，特征X对应的特征标签向量为

1-2、将P张成b×b的矩阵我们可以得到矩阵形式的标签l1：