[发明专利]多层深度特征融合的自适应抗遮挡红外目标跟踪方法

说明书

本发明公开了一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法，首先，获得一系列相同尺寸不同层级的多层深度特征图；然后，根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，再根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置；最后，对目标稠密特征进行提取，根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度；当所述目标中心位置的响应置信度小于重检测阈值T₀时，通过在线目标重检测对获得的目标估计位置进行评估并且根据评估结果对目标的位置进行自适应更新。

技术领域

本发明属于视频处理技术领域，具体涉及一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法。

背景技术

视觉跟踪是计算机视觉领域研究的热点之一，其广泛应用于视频监控、智能交通等民用领域。近年来，随着计算机视觉领域的快速发展，跟踪算法的综合性能得到了显著提升。同时，由于红外成像系统利用目标产生的能量进行探测，通过获取目标的能量信息对目标进行识别，因此具有被动探测和全天时探测的能力而被广泛应用于目标感知的设备中；其中，对感兴趣的目标进行跟踪是红外探测系统的主要任务，因此，对红外目标的跟踪是当今一个研究热点问题。

目前跟踪算法可被分为经典的目标跟踪方法和基于深度学习的目标跟踪方法，其中经典的目标跟踪方法可以被分为产生式和判别式两大类别，基于深度学习的目标跟踪方法根据训练策略的不同又可以被分为：(1)辅助图片数据预训练模型，在线跟踪时微调；(2)预训练的CNN分类网络提取深层特征。

经典跟踪方法中的产生式方法运用生成模型描述目标表观特征，之后通过搜索候选目标来最小化重构误差。比较有代表性的算法有稀疏编码，在线密度估计和主成分分析等。产生式方法着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。

与之相对的，判别式方法通过训练分类器来区分目标和背景。这种方法也常被称为跟踪前检测。近年来，各种机器学习算法被应用在判别式方法上，其中比较有代表性的有多示例学习方法，结构支撑向量机等。判别式方法因为能显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域逐渐占据主流地位。目前大部分深度学习目标跟踪方法也可归属于判别式框架。

基于深度学习的跟踪算法在目标跟踪的训练数据非常有限的情况下，使用辅助的非跟踪训练数据进行预训练，获取对物体特征的通用表示。在实际跟踪时，通过利用当前跟踪目标的有限样本信息对预训练模型微调，使模型对当前跟踪目标有更强的分类性能，这种迁移学习思路极大地减少了对跟踪目标训练样本的需求，也提高了跟踪算法的性能。典型的方法有香港科技大学王乃岩博士提出的深度学习跟踪器及其改进版本，该方法作为第一个将深度网络运用于单目标跟踪的跟踪算法，首先提出了“离线预训练+在线微调”的思路，很大程度的解决了跟踪中训练样本不足的问题，但仍存在直接训练大尺度卷积神经网络样本不足的困境。

另一种深度学习跟踪方法的思路是直接使用ImageNet这样的大规模分类数据库上训练出的CNN网络获得目标的深层特征表示，之后再用观测模型进行分类获得跟踪结果。这种方法不仅避开了因训练样本不足而导致的过拟合问题，而且充分利用了深度特征强大的表征能力。

近年来，基于相关滤波的跟踪方法因为速度快、效果好而吸引了众多研究者的目光。相关滤波器通过将输入特征回归为目标高斯分布来训练滤波器组，并在后续跟踪中寻找预测分布中的响应峰值来定位目标的位置。其在处理中应用快速傅立叶变换获得了大幅的速度提升，目前基于相关滤波的拓展方法也有很多，包括核化相关滤波器，加尺度估计的相关滤波器等。近几年逐渐出现将深度特征与相关滤波器结合的跟踪方法，主要思路是提取感兴趣区域的深层特征，再利用相关滤波器确定最终的目标位置，能够很好地解决目前已有深度学习目标跟踪方法难以解决的实时性问题。