[发明专利]一种基于深度检测的长时目标跟踪方法

说明书

本发明公开了一种基于深度检测的长时目标跟踪方法，属于模式识别和智能信息处理领域。本发明的方法采用MDNet深度检测跟踪框架，通过在难分样本挖掘的基础上改进收缩损失函数，解决采样时的正负样本不均衡问题；然后在线跟踪时设计并维护高置信度保留样本池，保留首帧目标和高置信度结果样本特征，利用保留样本池进行在线训练更新模型参数；最后，通过模型计算在前帧目标位置周围高斯采样出的候选样本的置信度，从而追踪运动目标位置并通过有效更新维持模型鲁棒性。本发明方法在复杂长时跟踪环境下保持了优越的跟踪精度和成功率，能够在目标被遮挡和出视野后重现时准确定位目标位置，满足实际工程系统的设计需求。

技术领域

本发明涉及一种基于深度检测的长时目标跟踪方法，属于模式识别和智能信息处理领域。

背景技术

随着计算机视觉领域的发展，目标跟踪在人机交互、视频监控、自动驾驶和机器人等领域得到越来越多的重视和应用。早期的跟踪模型常见的有粒子滤波、Mean shift、相关滤波及其衍生模型等。虽然这些传统的跟踪器经过近年来的发展在精度和速度上都有了明显提升，但是对目标的特征提取仍以光流、外观形状、颜色等浅层特征为主，不能捕捉目标语义特征，难以在面对长时跟踪时目标外观形变、被遮挡或目标出视野等情况下保持鲁棒跟踪。

基于深度学习的跟踪器，能有效利用目标的深度特征对目标进行语义级抽象，并拟合目标的运动过程，这大大提高了跟踪精度；且模型的特征提取器在离线时得到了大量标记图片的端到端预训练，这进一步提高了跟踪器在线跟踪速度，使深度学习在目标跟踪领域的应用成为可能。由于目标检测与目标跟踪的相似性，检测领域的很多算法思想都逐渐被应用于跟踪：MDNet(Nam H,Han B.Learning multi-domain convolutional neuralnetworks for visual tracking[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2016:4293-4302.)在前一帧的目标周围高斯采样出大量候选框，再利用预训练的二分类器区分候选框中的目标和背景，从而定位目标位置；SiamFC孪生网络模型利用同样结构的CNN网络对初始帧目标和当前帧搜索域提取深度特征，然后通过卷积操作进行相似性计算，得到目标在搜索域位置的响应；RasNet将传统的相关滤波引入孪生网络中，再把检测领域的通道注意力、残差注意力和通用注意力结合，提高了跟踪器的泛化能力，增大了对首帧目标信息的利用率。

然而，基于深度学习的目标跟踪算法，需要收集含有目标信息的正样本，以及含有背景信息的负样本用于模型的迭代训练。但在实际取样中，正样本的可采样数量远远小于负样本这些负样本中绝大多数是无意义的简单负样本，对分类器的训练贡献很少。不仅如此，虽然简单负样本的损失值低，但数量庞大，这些值的累积和很可能掩盖了正样本和重要负样本损失值的变化，从而影响模型训练的收敛速度以及跟踪器性能。针对这种类不均衡问题，MDNet采用检测领域的难分样本挖掘技术筛选难分负样本，使模型的训练免受大多数简单样本的干扰，但其对难分负样本的采样数量固定，在很多应用场景下难以避免地对简单样本过多采集；FocalLoss对所有的负样本损失值进行抑制，但同时降低了有价值的难分样本对训练的贡献。

此外，长时跟踪时目标不可避免地会出现形变、遮挡和出视野等情况，未采用模型在线更新机制的深度跟踪器往往由于过度依赖首帧特征而导致跟踪漂移或目标丢失。MDNet保留最近特定数量帧的跟踪结果用于更新模型，但这可能导致有价值的保留样本被新出现的无效样本替代，同时其忽视首帧目标信息，也使得模型在跟踪失败后难以通过有效更新重新定位目标位置；CFNet对当前帧之前的所有跟踪结果计算平均值，更新目标模板；同样，随着跟踪的持续，目标模板不断被污染，最终导致跟踪漂移，而在目标被遮挡时，这种污染的影响将更加明显。

近年来，随着深度跟踪器的骨干网络层数逐渐加深，模型在线更新对跟踪效率的影响逐渐加大，因此大多数深度跟踪器都未引入在线更新策略，但模型更新仍是维持长时跟踪鲁棒性的重要途径。

发明内容