[发明专利]一种基于目标追踪的行人搜索样本扩充方法

说明书

本发明公开了一种基于目标追踪的行人搜索样本扩充方法，用目标追踪网络扩充行人搜索网络样本集，通过强化学习决策对行人搜索网络进行优化更新。本发明将行人搜索网络和目标追踪网络相结合，由于行人搜索网络的性质，在进行目标追踪的时候会对丢失的目标进行再搜索，提高目标追踪的效率，这样可以使得目标追踪网络与行人搜索网络相互促进，形成一个良性循环。

技术领域

本发明涉及一种基于目标追踪的行人搜索样本扩充方法，用目标追踪算法扩充行人搜索样本数据集，通过强化学习决策对行人搜索网络进行优化更新，属于图像处理领域中的行人搜索技术。

背景技术

目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。在视频监控中，由于摄像头的分辨率、拍摄角度等参数变化较大，难以实现高质量人脸图片的稳定获取，使得基于人脸识别技术的目标追踪稳定性较差。相对而言，行人搜索(Person Search)技术可以为视频监控提供鲁棒性更强的目标追踪解决方案。

传统的行人搜索技术分为目标检测和行人重识别两个部分，目标检测的目的是从图片中搜索到感兴趣的目标，并对其进行准确定位，由于目标在不同的角度和距离拍摄下，其形状、姿态和相对大小都有变化，再加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题之一。行人重识别是在图像或视频库中判断特定行人是否存在的一种计算机视觉技术，是在目标检测的基础上对行人的身份进行确认。目前，特征学习、度量学习和生成式对抗网络模型被广泛应用到行人重识别领域。行人搜索技术主要利用了图像的空间结构信息，对视频序列的帧间信息利用率不高。而视频目标追踪技术主要利用视频的帧间信息，对感兴趣的目标进行高效的定位，然而，由于目标的形变、突然运动和环境变化等原因，对目标追踪的性能造成了很大的影响。

国内外学者在目标检测、行人重识别和目标追踪三个方面进行了系统深入的研究，并提出了很多方法。然而，在实际应用场景中，为了增加有效地监控范围，摄像头会被安放在较高位置，导致行人目标在整个监控画面中尺寸较小，同时易受到树木、建筑物等异物地遮挡。在一些人流量大，行人密集地区域，多个行人目标之间也容易产生重叠和遮挡。受监控画面清晰度不高、光照、拍摄角度不同以及行人衣着相似等因素地影响，不同身份的行人也可能具有相似的特征。目标追踪主要处理单摄像头数据，行人搜索可以处理多摄像头的视频数据，更加适应于实际应用场景。目标追踪方法可以为行人搜索提供技术的辅助和方法的借鉴。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于目标追踪的行人搜索样本扩充方法，利用目标追踪的时空特性，使用强化学习对行人搜索网络进行更新，运算速度快，且能够提高行人搜索精度以及时效性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于目标追踪的行人搜索样本扩充方法，包括如下步骤：

(1)输入视频流数据；

(2)使用目标追踪网络进行样本扩充，包括如下步骤：

(21)使用目标追踪网络对视频流中的追踪目标进行追踪；

(22)由于相邻帧中的追踪目标相似度极高，同时为了减少数据采集量，提高系统运行速度，我们每隔n帧对追踪到的追踪目标进行采样；

(22)将采样结果按时间顺序保存至扩充样本集C＝{c_t,c_t-1,c_t-2,…}中，c_t表示t时刻的样本帧；

(3)运行行人搜索网络：

情况①：若行人搜索网络的搜索正确率低于90％，根据强化学习策略，将扩充样本集扩充至行人搜索网络样本集中，优化当前的行人搜索网络；