[发明专利]基于注意力机制的视频监控场景下行人视图属性的定位与识别方法

说明书

本发明提供一种基于注意力机制的视频监控场景下行人视图属性的定位与识别方法。包括如下步骤：步骤一：设计Inception‑v4主干网络；步骤二：通过视角预测器分支预测出四个置信度作为视角先验信息贡献给最后输出单元作为视角权重；步骤三：将视角置信度反馈至浅层网络组成视角性特征来监督深层网络特征提取；步骤四：通过注意力分支来定位视角性特征属性，且为最后的输出单元贡献注意力权重；步骤五：设计最后属性识别单元的输出方式及损失函数；步骤六：整个网络模型在公开数据集上训练；步骤七：将模型应用到实际视频监控中进行行人属性识别；步骤八：制作Qt前端系统界面。本发明用于实际监控视频中进行行人属性识别，在排除复杂背景和遮挡问题同时，对行人在不同视角中的同一特定属性进行定位和识别。未来的应用场景可涉及商场、公安、交通等地的人员跟踪、检索、定位、重识别。

技术领域

本发明属于基于深度学习的行人属性识别领域，涉及先验信息、注意力机制等技术，具体涉及基于注意力机制的视频监控场景下行人视图属性的定位与识别方法。此外，本发明涉及在实际监控视频上实现属性识别的应用。

背景技术

行人属性识别技术已经成为计算机视觉领域的一个研究热点，属性识别可以为高级人类相关任务提供重要信息，包括行人重识别，行人检测，行人跟踪，行人检索，场景理解等。同时随着监控技术的发展，将行人属性识别技术应用到视频监控当中，获取视频监控中的图像序列，联合图像的空间和时间信息，实现对图像中行人属性的识别，未来将在安防、刑侦、交通等领域具有潜在的实力和应用。

然而，视频监控下的行人属性识别仍然存在困难和挑战，如多视角变化、分辨率低、光照低、复杂背景下的遮挡等。为了缓解这些问题，(Bourdev L,Maji S,MalikJ.Describing people:A poselet-based approach to attribute classification[C].International Conference on ComputerVision.IEEE,2011:1543-1550.)首先提出以人体部位作为先验知识来指导属性识别网络，但是这些方法高度依赖于身体部位的位置，且会带来额外的推断时间和计算成本，不能满足快速、实时应用的需求。由于多视角变化是移动设备记录视频中所存在的最主要的问题，考虑利用视角信息作为先验知识来达到解决最主要的问题的目的。

在行人属性识别过程中，还需要判断某个属性是否存在。鉴于在人类视觉识别中，往往只关注相关区域而忽视背景干扰的行为，注意力机制被引入来定位属性的相关区域从而排除复杂背景的干扰。基于注意力机制的方法(Yaghoubi E,Borza D,Neves J,et al.Anattention-based deep learning model for multiple pedestrian attributesrecognition[J].Image and Vision Computing.2020,102:103981.)通常使用注意力掩膜与特征图相乘来给出属性的位置，但是由于没有处理好视频监控图像中的空间信息和时间信息，注意掩膜会产生一个不准确的大范围区域，并将不同属性的区域混合在一起，从而不能定位某个特定属性。如何正确处理视频监控图像中的空间信息和时间信息成为是否能准确定位特定属性的重要问题。

发明内容

本发明克服现有技术的缺点，提出一种实现速度快、应用范围广的，以视角信息作为先验知识的在视频监控下的基于注意力机制的行人属性定位和识别方法。