[发明专利]一种面向全画面监控场景的行人检索方法及系统

说明书

本发明公开了一种面向全画面监控场景的行人检索方法及系统，通过卷积神经网络对关键视频帧图片和指定查询行人图片进行初步特征提取；在区域建议网络中引入空间变换器来生成行人候选区域；对行人候选区域和指定查询行人图片进行局部特征提取；计算各个行人候选区域与指定查询行人的特征相似度，得到最高相似度的行人候选区域，若相似度大于某一阈值，则判定该区域中的行人在当前视频帧中为目标行人。该方法能够有效地缓解监控场景中存在的尺度不一、视角变化等空间变换对重识别的影响，并且通过局部特征匹配能进一步提升算法鲁棒性；能够实现对全景的监控视频画面进行自动的行人检索，满足实际应用场景需求，对现代视频侦查工作有着重要意义。

技术领域

本发明涉及监控视频检索领域，尤其涉及一种面向全画面监控场景的行人检索方法及系统。

背景技术

在跨摄像头无重叠区域对指定行人进行匹配的技术称为行人检索。当前的行人检索(又称行人重识别)技术主要包括对待查询行人图片和手工裁剪好的行人图库进行特征提取，以及通过距离度量的方式来对行人图库中的行人进行排序。但在实际视频侦查中，理想的方式是在全画面视频中对目标行人进行自动地检索，即将行人检测和行人重识别结合起来，形成一个端到端的行人检索想系统。面向全画面监控场景的行人检索方法及系统对现代警务工作提高工作效率具有重要意义。

随着深度学习在计算机视觉领域的火速发展，行人检索领域的研究人员也开始将深度学习运用其中。2017年，文献1(参见：Tong Xiao,Shuang Li,Boch ao Wang,LiangLin,Xiaogang Wang.“Joint Detection and Identification Featur e Learning forPerson Search”,IEEE Conference on Computer Vision and Patter n Recognition(CVPR),PP.3415–3424,2017.)提出了第一个基于深度学习的端到端行人检索网络，通过联合检测和识别一起进行特征学习来完成面向全画面的行人检索任务。但在监控场景中，该方法仍存在以下问题：1)监控场景中往往伴随着尺度不一、视角变化等空间变换问题，而卷积神经网络不具备空间不变性；2)在识别网络中采用全局匹配的方式，识别性能一般。

发明内容

本发明旨在至少在一定程度上解决上诉背景技术存在的问题，提出了一种面向全画面监控场景的行人检索方法，提高在监控场景下的行人检索准确率。

为达到上诉目的，本发明采用如下技术方案：一种面向全画监控场景的行人检索方法，包括以下步骤：

步骤1，对于给定的待检索视频关键帧和手动裁剪的查询行人图片，分别通过特征提取基础网络进行初步特征提取，记关键帧通过特征提取输出的基础特征图为B；

步骤2，对基础特征图B通过行人区域建议网络PRPN，Person Region ProposalsNetworks生成固定数目的行人候选区域U；

步骤3，对查询行人图片进行局部特征提取，对行人候选区域进行双通道特征提取，包括全局特征和局部特征，其中提取的全局特征用于进一步分类和回归，分别获得行人候选区域对应的分类信息和行人候选区域的位置信息，提取的局部特征用于对行人候选区域与查询行人图片通过局部匹配的方式进行相似度计算，通过欧式距离直接计算相似度；

步骤4，如果最大相似度大于设定阈值，一般设置为0.5，则将最大相似度的行人候选区域标记为目标行人，结合其分类信息和位置信息输出最终的检索结果。

进一步的，步骤1中的特征提取基础网络为ResNet50的conv1层到conv4_3层，包含卷积层、最大值池化层以及激活函数层。

进一步的，步骤2的具体实现方式如下，

步骤2.1，利用先验知识选取一系列不同尺寸和比例的k个先验框anchor；