[发明专利]孪生导向锚框RPN网络的实时目标跟踪方法

说明书

本发明公开了一种孪生导向锚框RPN网络的实时目标跟踪方法。本发明一种孪生导向锚框RPN网络的实时目标跟踪方法，包括：S1.分别将大小为127×127×3的模板帧和256×256×3的检测帧输入到孪生网络中的对应输入端口；S2.将通过孪生网络提取得到的特征分别输入到导向RPN(GA‑RPN)网络的目标分类分支和位置回归分支，得到对应的分数图；S3.将导向RPN网络得到的分类分数图和位置回归分数图结果融合，然后进行插值计算，即可得到跟踪的结果。本发明的有益效果：解决孪生RPN目标跟踪网络的精度较低和速度较低的问题。

技术领域

本发明涉及目标跟踪领域，具体涉及一种孪生导向锚框RPN网络的实时目标跟踪方法。

背景技术

目标跟踪是计算机视觉的一个重要分支，其利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置。目标跟踪融合了图像处理、机器学习、最优化等多个领域的理论和算法，是完成更高级的图像(如目标行为识别)任务的前提和基础。当前主要相关方法可以总结为以下三种：

基于生成式模型的方法：此方法首先提取目标特征学习出代表目标的外观模型，通过它搜索图像区域进行模型匹配，在图像中找到和模型最匹配的区域，即为目标。有的方法通过计算当前含有目标的图像和用特征向量重建的图像之间的仿射变换差异来跟踪目标。有的方法通过匹配角点来实现对目标的跟踪。

基于判别式模型的方法：此方法同时考虑了目标和背景信息，将跟踪问题看做分类或回归问题，目的是寻找一个判别函数，将目标从背景中分离出来，从而实现对目标的跟踪。有的方法利用线性判别分析自适应地选择对当前背景和目标最具区分力的颜色特征，从而分离出目标。有的方法将目标跟踪看成位置变化和尺度变化两个独立的问题，首先训练位置平移相关滤波器以检测目标中心平移，然后训练滤波器来检测目标的尺度变化，从而提高了对尺度变化目标跟踪的准确率。

基于深度学习的方法：此方法主要利用深度特征强大的表征能力来实现目标跟踪。有的方法将浅层信息和深层语义信息结合起来，根据不同空间分辨率的响应，在频率进行差值得到连续空间分辨率的响应图，通过迭代求得最佳位置。有的方法利用孪生网络直接学习目标模板和候选目标的匹配函数，在线跟踪过程中只用初始帧的目标作为模板来实现跟踪。

上述方法虽然在一定程度上实现了对视频中目标的跟踪，但仍然存在一定的缺陷：

基于生成式模型的方法：这种基于生成方式的目标跟踪方法，其本质是在目标表示的高维空间中，找到与目标模型最相邻的候选目标作为当前估计。但是该方法只关注了目标的信息，忽略了背景信息，从而影响了目标跟踪的准确率。

基于判别式模型的方法：这种基于判别式模型的目标跟踪方法，虽然同是考虑了目标信息和背景信息，在一定程度上解决了上述缺陷，但是在实际应用中，其对出现目标遮挡、光线变化和尺度变化等复杂场景中目标的跟踪能力有限。

基于深度学习的方法：这种基于深度学习的目标跟踪方法，虽然在一定程度上克服了上述两个缺陷，但是若仅从当前视频中提取样本的话，只能学到相对简单的模型，而在线学习需要大量的监督信息，给实时在线实现目标跟踪带来了一定的困难。

发明内容

本发明要解决的技术问题是提供一种孪生导向锚框RPN网络的实时目标跟踪方法，以深度神经网络、光学图像等为基础，总结传统的目标跟踪方法，探究基于孪生导向锚框RPN(region proposal network，RPN)网络的是视目标跟踪方法及其应用。

为了解决上述技术问题，本发明提供了一种孪生导向锚框RPN网络的实时目标跟踪方法，包括：

S1.分别将大小为127×127×3的模板帧和256×256×3的检测帧输入到孪生网络中的对应输入端口；

S2.将通过孪生网络提取得到的特征分别输入到导向RPN(GA-RPN)网络的目标分类分支和位置回归分支，得到对应的分数图；