[发明专利]一种基于多重网络的单目标跟踪方法

说明书

本发明提供了一种基于多重网络的单目标跟踪方法，是一种采用深度学习的模型。该方法首先对视频序列的第一帧图像和当前帧图像进行裁剪，得到模板图像和待搜索图像；将模板图像和待搜索图像输入外观子网和语义子网，分别获得模板图像和待搜索图像的低层外观特征和高层语义特征，并进行特征融合，分别得到模板图像和待搜索图像的融合特征图；然后，基于模板图像和待搜索图像的融合特征图，使用相似性判别方法得到最终响应图；最后，根据最终响应图提供的信息获得跟踪结果。本发明解决了传统单目标跟踪方法无法有效检测到包含相似性背景的待搜索图像中的跟踪目标，以及基于深度学习的特征提取方法由于提取出的低层外观特征存在噪声而导致误检的问题。

技术领域

本发明属于图像处理和计算机视觉领域，尤其涉及一种基于多重网络的单目标跟踪方法。

背景技术

单目标跟踪是信息融合方法的一个重要组成部分，被广泛应用于视频监控、虚拟现实、人机交互、无人驾驶等诸多领域。单目标跟踪的本质是通过滤波器对单个动态目标的连续运动状态进行估计。单目标跟踪的大致框架是首先通过对第一帧输入进行特征提取对待跟踪目标的特征进行初始化，构建目标模型，然后对当前帧进行特征提取,并与第一帧中跟踪目标的特征进行相似性判断，最后输出跟踪目标在当前帧中的位置估计。

单目标跟踪一般分为两大类方法：基于生成式模型的单目标跟踪方法和基于判别式模型的单目标跟踪方法。基于生成式模型的单目标跟踪方法通过建立目标模型将现实世界中的目标基于计算机视觉中的目标表示方法进行描述，在新的图像帧中搜索与目标外观模型最相似的区域，它着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生跟踪漂移；基于判别式模型的单目标跟踪方法对目标提取具有判别性的特征，通过深度学习和相关滤波方法训练分类器来区分目标和背景，很好地解决了生成式中因背景变化所产生的目标漂移，但是在时间和准确率两方面难以权衡。

这些方法大部分采用的是基于深度学习的特征提取方法，在简单场景下检测效果较好，但是对于具有复杂场景的图像或视频，其提取出的特征并不全是有用的，其中无用的特征信息会对跟踪结果造成影响，降低跟踪模型的性能。总之，传统的单目标跟踪方法所使用的特征夹杂着许多无用信息，无法形成对目标鲁棒的特征，并且跟踪效果较好的模型速度较慢。

为了解决上述问题，当前需要一种新的基于多重网络的单目标跟踪方法。

发明内容

本发明要解决的问题是：传统的单目标跟踪方法所使用的特征不够准确，无法形成对目标鲁棒的特征，且跟踪效果较好的模型速度较慢。为了解决上述问题，当前需要一种新的基于多重网络的单目标跟踪方法。

为了解决上述问题，本发明提供了一种新的基于多重网络的单目标跟踪方法，以视频第一帧和当前帧作为输入，融合低层外观特征和高层语义特征，基于多重网络进行单目标跟踪，包括以下步骤：

1)处理视频第一帧和当前帧得到模板图像和待搜索图像；

2)将模板图像和待搜索图像一同输入到外观子网和语义子网中，分别提取低层外观特征和高层语义特征；

3)将模板图像的低层外观特征和高层语义特征进行融合得到模板图像的融合特征图，同时将待搜索图像的低层外观特征和高层语义特征进行融合得到待搜索图像的融合特征图；

4)对模板图像的融合特征图和待搜索图像的融合特征图，采用相似性判别方法得到模板图像在待搜索图像上的最终响应图；

5)将最终响应图恢复成原图大小，根据最终响应图提供的信息在当前帧中确定跟踪目标的中心点位置以及矩形框大小，进而得到跟踪结果。

作为进一步的优选方式，步骤1)具体步骤为：