[发明专利]一种利用时序信息的目标跟踪方法

说明书

本发明公开了一种利用时序信息的目标跟踪方法，涉及图像处理和计算机视觉领域。该方法使用的方法关键步骤分为如下两个阶段，其中第一阶段输入第一帧与搜索帧，第二阶段输出目标在搜索框上的位置。本发明在特征提取阶段使用非对称卷积模块，选择三种不同形态的卷积核共同使用提升了模型对图像翻转和旋转的鲁棒性，提高网络的抗旋转鲁棒性。在候选框精修中，使用双径候选框分类回归网络，分类支路与回归支路分别处理候选框的分类结果与精修后的候选框，相比单纯依赖卷积网络或全连接网络的网络，进一步提高了结果精度。同时利用时序信息进行目标跟踪后处理，选择更加契合之前结果的跟踪框，减少错误跟踪目标的情况发生。

技术领域

本发明属于图像处理和计算机视觉领域，具体涉及一种利用时序信息的目标跟踪方法。

背景技术

视觉跟踪是计算机视觉中一项基础性但具有挑战性的任务。在过去的几十年里，这一领域取得了大的进展。视觉目标跟踪是在视频序列的每一帧中估计目标对象的状态的任务。最常见的情况下状态表示为一个包围目标的边界框。由于遮挡、尺度变化、背景杂波、快速运动、光照变化和外观变化等因素的影响，导致在处理复杂情况下的目标跟踪问题仍旧是具有挑战性的。

基于相关滤波的目标跟踪运算曾是目标跟踪的主流，特点是运算速度快。该类算法通过获得特定参数相关滤波器并在线更新来进行目标跟踪。发明专利“基于相关滤波的抗遮挡目标跟踪方法，公开号：CN109299735A”是一种典型的基于相关滤波的目标跟踪算法，为了提升该类算法在目标跟踪时的抗遮挡能力，其分别对目标的平移与目标的尺度进行估计，从而获得目标跟踪的结果。如果出现了丢失目标的情况，则采用在线分类器的检测结果来完成目标的重跟踪。而深度学习的崛起使得神经网络在目标跟踪方面的应用日益增多，深度神经网络强大的特征提取能力是其流行的重要原因。基于相关滤波的发明专利“基于分层卷积特征的长时间目标跟踪方法及系统，公开号：CN109087337A”不再使用手工设计的特征提取器，而采用深度卷积网络对每一帧的数据进行特征提取，使得提取出的特征和数据具有更强的关联性、匹配性。但随着数据量的激增，传统方法没有充分利用数据的问题开始显现，而深度学习则是一种非常依赖数据的方法，逐渐完全依赖深度神经网络的方法开始发展。目前主流的一种用于目标跟踪的神经网络结构便是孪生网络结构。孪生网络的根本思想是在获得跟踪目标在搜索区域不同位置的匹配程度，进而确定跟踪目标的状态。通过两个在结构与参数上完全一致的卷积神经网络来提取跟踪目标与搜索区域的特征，通过对这两个特征进行相关性运算，获得跟踪目标在搜索区域上的相关性特征。再通过对相关性特征的处理，确定被跟踪目标。孪生网络的“孪生”便体现在这两个完全一致的特征提取网络上。Distractor-aware si amese networks for visual object tracking[C]，ZhuZ,Wang Q,Li B,et al.，Proceedings of the European Conference on ComputerVision(ECCV).2018:101-117是一种典型的使用孪生网络的目标跟踪算法，在获得跟踪目标与搜索区域的特征后，通过对这两个特征进行处理与相关运算后得到被跟踪目标的位置与形态。该方法提出于孪生网络发展早期，其在特征的提取上还存在提取能力不足的问题，同时鲁棒性不佳，对目标位置的回归不够准确。Siamrpn++:Evolution of siamese visualtracking with very deep networks[C]，Li B,Wu W,Wang Q,et al.，Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.2019:4282-4291是Distractor-aware siamese networks for visual object tracking[C]，Zhu Z,WangQ,Li B,et al.，Proceedings of the European Conference on Computer Vision(ECCV).2018:101-117的改进方法，通过使用更强的特征提取网络提取更深的特征，利用了不同深度的特征来提升网络的多尺度检测能力，级联使用区域候选网络来提升网络的鲁棒性与检测性能。但这种方法在后处理上存在缺陷，在有多个与跟踪目标相似对象存在的情况下，容易产生错误跟踪的情况，从而跟丢目标。