[发明专利]一种结合表观特征和时空分布的双流网络行人重识别方法

说明书

本发明公开了一种结合表观特征和时空分布的双流网络行人重识别方法，方法主要包括下述步骤：使用深度神经网络提取行人图像的表观特征并计算图像对的表观相似度；通过基于高斯平滑的统计方法学习训练数据集的时空分布模型；通过基于逻辑平滑的联合度量方法对表观相似度和时空概率进行联合计算得出最终相似度；将最终相似度进行排序得到行人重识别结果。主要贡献包括：(1)提出一种结合表观特征和时空分布的双流网络行人重识别框架；(2)提出新的基于高斯平滑的时空分布学习方法。(3)提出新的基于逻辑平滑的相似性联合度量方法。实验结果表明，本方法在DukeMTMC‑reID和Market1501数据集上的Rank1准确率分别从83.8％和91.2％提高到94.4％和98.0％，较其他方法有非常大的性能提升。

技术领域

本发明属于计算机视觉中的行人重识别技术领域，具体为一种结合表观特征和时空分布的双流网络行人重识别方法。

背景技术

近年来，视频监控在公共安全领域中发挥着重大的作用，而行人重识别技术是视频监控中非常关键的一步，其在协助警方追踪罪犯，维护社会稳定中起到关键的作用。近几年，由于深度神经网络在提取图像特征时的优异表现，行人重识别技术有了很大的突破。

当前对于行人重识别的研究主要集中在神经网络结构的优化和损失函数的优化上。然而，单纯地从神经网络结构上对模型进行改进的效果相当有限。因此，研究人员尝试挖掘其他的辅助信息从而提高模型性能。其中，挖掘行人的结构信息是当前行人重识别领域很重要的研究方向。挖掘行人的结构信息包括基于区域分块的特征提取，基于姿态估计的特征提取，和基于背景语义信息的特征提取等。

通过挖掘行人图像的结构信息对行人重识别算法模型进行改进对于行人重识别的性能有很大的提升(Market1501数据集上rank1准确率为80％-90％)。然而当前算法模型的准确率还远远无法应用到现实场景当中。究其原因，由于当前的研究主要还是集中在图像表观特征的提取和优化上，往往忽视了对时空信息的科学提取和合理利用。由于跨摄像头下行人图像存在光照、角度、姿态等问题，使得同一行人在不同摄像头下的图像存在较大差异，只基于表观特征的算法模型往往还不能准确匹配复杂环境下的行人。

当前基于时空约束的行人重识别技术有少量的研究，然而已有的基于时空约束的算法模型往往基于主观的先决条件，包括主观估计行人平均行进速度从而约束行人图像对的空间距离；以及基于单峰值的韦布尔分布模型构造时空分布模型从而进行时空约束。然而现实世界中行人的行进速度往往具有不确定性。因此已有的时空约束模型并不能很好的应用于现实世界中。构建一个鲁棒的时空模型具有如下两个挑战：(1)现实世界中两个摄像头之间往往存在多个时间差峰值，因为可能存在多条不同的道路，所以构建一个鲁棒的时空模型是非常困难的。(2)即使我们构建出了一个比较鲁棒的时空模型，但是由于行人的行进速度和行进状态不可预测，比如我们要跟踪一个小偷，那他的速度往往会非常快，路径也会非常诡异。也就是说行人的行进状态往往具有非常大的不确定性。

发明内容

针对现有行人重识别技术中存在的不足和问题难点，本发明提出一种结合表观特征和时空分布的双流网络行人重识别方法，该方法能够显著提高识别的准确率。

本发明通过以下的技术方案实现：一种结合表观特征和时空分布的双流网络行人重识别方法，包括步骤：

表观特征上，使用深度神经网络算法提取每个行人图像的表观特征向量，计算出所有行人图像对之间的表观相似度，所述图像对是指检索图像和数据库图像；

时空分布上，对于训练数据集，以一时间差单位区间统计每组摄像头对的原始时间差概率分布模型，得到n*n个时间差概率统计直方图，n为摄像头个数，然后对每个时间差概率统计直方图进行高斯平滑，得到时空分布模型；由时空分布模型求出检索图像和数据库图像之间的时空概率；

对表观相似度和时空概率进行逻辑平滑，得到平滑后的表观相似度和时空概率；