[发明专利]一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法

说明书

一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，包括以下步骤：(1)根据图像中目标的所在位置，在原始训练集中裁剪出目标模板图像和搜索区域图像，裁剪出的图像对构成了训练数据集；(2)搭建全卷积孪生网络提取图像特征；(3)搭建分类回归网络；(4)响应图上的每个像素点都有对应的前景得分和预测的包围框，结合前景得分和包围框的信息，计算每个像素点的总得分，总得分最高的像素点是跟踪目标的中心；(5)使用训练数据集，训练全卷积孪生网络和分类回归网络，获得训练好的全卷积孪生网络和分类回归网络，使用训练好的网络计算待测图像序列中目标的得分图，基于得分图进行目标定位。本发明提升了跟踪的精度和速度。

技术领域

本方法涉及视觉目标跟踪领域，更具体地，涉及一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法。

背景技术

视觉目标跟踪是机器视觉领域的基础研究问题，其广泛应用于智能监控、人机交互和无人驾驶等领域。尽管目标跟踪的研究已经有了很大的进展，然而，在实际应用中目标跟踪仍是一项极具挑战性的任务。因为在实际应用中，被跟踪目标难以避免的会遭遇光照变化、尺度变化、背景干扰、目标遮挡和目标形变。

传统的目标跟踪方法可以分为两种：基于生成式的跟踪和基于判别式的跟踪。生成式跟踪算法通过提取目标对象的特征，构建出能够表征目标外观的模型。利用模型在搜索图像内进行匹配，最匹配的区域即为目标。常见的基于生成式的跟踪算法有meanshift、粒子滤波、卡尔曼滤波以及基于特征点的光流算法。而在目标跟踪过程中，经常会出现背景与目标外观相似的情况。因此仅仅对跟踪目标进行建模，并不能满足目标跟踪的需求。基于判别式的目标跟踪算法充分利用了第一帧模板图像中的背景信息。这类算法将跟踪问题归结为一个二分类问题，主要研究如何区分目标和背景。检测器通过在线或者离线训练，获得区分目标和背景的能力，进而在搜索区域图像上找到目标位置。基于判别式的目标跟踪算法有Struck和TLD等，相比生成式的方法，这类方法更能适应背景变化复杂的情况。

基于相关滤波的目标跟踪算法用第一帧中的目标训练滤波器，滤波器在搜索图像上进行搜索，根据响应值判断目标的位置。整个过程中滤波器不是固定的，而是随着跟踪过程经历不断地更新。相比于传统的跟踪算法，基于相关滤波的目标跟踪算法利用快速傅里叶变换将滤波过程从时域转到频域进行计算，极大地加快了跟踪速度。基于相关滤波的目标跟踪算法有CF，KCF，DSST，CCOT等。

深度学习模型因其强大的特征表达能力，极大地提高了复杂环境下目标跟踪的算法精度。它最大的优势是模型经过大量数据的训练，可以得到有效的语义特征，而特征的有效性决定了目标跟踪方法性能的好坏。深度学习应用于目标跟踪领域面临两个难题：(1)仅利用视频第一帧获得的先验知识，远达不到训练深度模型对数据量的要求；(2)在线更新模型导致计算的复杂度增加，损害了跟踪过程的实时性。

针对数据量不足这个问题，研究人员提出使用图像分类的大型数据集(例如ImageNet)预训练跟踪模型。而针对实时性问题，研究人员采取离线训练、在线微调的策略，缓解了深度模型造成的耗时。通过不断优化深度模型与目标跟踪算法的结合方式，基于深度学习的目标跟踪算法已经获得了比传统算法更好的精度和速度。目标跟踪算法使用的深度学习框架主要有3种，分别是：堆栈自编码器、卷积神经网络和孪生网络。