[发明专利]一种双金字塔结构引导的多粒度行人重识别方法及系统

说明书

本发明公开了一种双金字塔结构引导的多粒度行人重识别方法及系统，首先在ResNet50中嵌入注意力金字塔，引导网络由粗到细依次挖掘不同粒度的特征，使网络更倾向于关注复杂环境中行人的显著区域；其次通过结构不对称的双重注意力特征金字塔分支，以提取多尺度的行人特征，丰富特征的多样性，同时双重注意力机制可使分支从浅层信息中捕获高细粒度的局部特征；最后将粒度较粗的全局特征与多层级细粒度的局部特征融合，两种金字塔相互作用，以此获得更多具有鉴别性的多粒度特征，以改善行人遮挡问题。本发明仅通过较少的计算量，便可有效地解决杂乱场景下难以提取行人关键信息和局部遮挡时全局特征方法失效而造成识别精度不高的问题。

技术领域

本发明属于数字图像处理、计算机视觉技术领域，涉及一种多粒度行人重识别方法及系统，特别是涉及一种基于双金字塔结构引导的全局特征与局部特征融合的多粒度行人重识别方法。

背景技术

行人重识别旨在将不同地点和不同摄像机拍摄到的某个行人图像关联起来，以检索跨监控图像和设备视频中的特定行人。随着该技术被广泛应用于智能视频监控、大规模人员跟踪等领域，越来越多极具挑战性的难题也暴露而出，如行人图像存在背景杂乱、局部遮挡、姿态变化和尺度变化等因素影响。因此，如何在复杂场景下的行人图像中提高特征识别能力是当前ReID研究的首要任务。

深度学习时代的来临产生了诸多拥有强大学习能力和特征提取能力的网络，其中基于深度学习卷积神经网络的行人重识别基本取代了传统的识别方法，取得了阶段性的进展。在其发展的早期阶段，大多方法的目的是从行人的整体图像中获取显著信息，以此获取行人图像的全局特征表达。但是，如果存在行人部分身体被遮挡或检测错误等情况将会导致摄像机无法捕捉整体行人，且全局特征表达容易忽略一些关键的局部信息，影响全局特征的性能，导致识别精度下降，因此引入更为复杂的局部特征成为研究热点。伴随着技术的进一步发展，图片切块、人体姿态关键点对齐和姿态评估成为提取局部特征的常用方法，但将行人图片切分的方法，易导致人体各部分之间的上下文缺失，且现有的姿态估计方法也往往不能很好地泛化ReID真实场景，以至于无法可靠地估计人体部位。同时，为了更好的提升网络的抗干扰性，提取更具辨别性的特征，近些年来，越来越多的注意力机制被用于行人重识别系统中，其通过卷积神经网络对行人图像全局信息的迅速浏览，从而获取重点关注的分类信息区域，并将更多注意力投入到其重点关注的区域。但当前注意力模型大多只学习全局的注意力信息，虽然能在复杂背景下关注行人，却往往无法准确地获取其中行人极具判别性的特征。

发明内容

本发明提出的双金字塔结构引导的多粒度行人重识别方法及系统，仅通过较少的计算量，便可有效地解决杂乱场景下难以提取行人关键信息和局部遮挡时全局特征方法失效而造成识别精度不高的问题。

本发明的方法所采用的技术方案是：一种双金字塔结构引导的多粒度行人重识别方法，包括以下步骤：

步骤1：构建双金字塔结构网络模型；

所述双金字塔结构网络模型，由嵌入注意力金字塔的骨干网络AP-ResNet50、全局分支网络Global Branch和双重注意力特征金字塔分支网络DFP Branch三个部分组成；

所述嵌入注意力金字塔的骨干网络AP-ResNet50，是将APNet注意力金字塔添加到ResNet50的四个残差块之后而构成；

所述全局分支网络Global Branch，由广义平均池化层和归一化处理层构成，其输入为所述嵌入注意力金字塔的骨干网络AP-ResNet50的输出；