[发明专利]基于可变形卷积和模板更新的孪生网络目标跟踪的方法

说明书

本发明公开了一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，首次将可变形卷积网络和模板更新策略结合。采用可变形卷积学习特征数据在不同方向上的自适应偏移量，以增强骨干网络的特征提取能力。此外，深层特征虽语义信息丰富，但缺少位置信息，通过多层可变形互相关融合以提高定位精度。最后，提出了一种高置信度模板更新策略，即每隔固定帧计算一次响应图的峰值旁瓣比和最大值，以此为依据，采用加权的方式融合特征以更新模板。既保证了有效更新，也防止遮挡等特殊情况下更新模板。本发明提出了一种全新的端到端的深度模型，有效提升了方案跟踪性能。

技术领域

本发明涉及一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，属于计算机视觉的目标跟踪技术领域。

背景技术

目标跟踪广泛应用在视频分析、智能交通、虚拟现实等领域，其核心任务是给定目标在视频第一帧初始位置后，自动估计后续帧中目标的位置。但跟踪过程中容易受到遮挡、模糊、形变、光照变化等一系列复杂因素的干扰，因此，设计一个可以在现实复杂场景下稳定高效运行的跟踪方法是十分具有研究与实用价值的。

目前，现有的跟踪算法大致可以分为两大类。一类将相关滤波的思想应用到跟踪领域，提出了误差最小平方和滤波器目标跟踪算法：将跟踪器模板的求解由时域复杂运算转换为傅里叶域点乘计算，计算量大大减少，跟踪器速度得到飞跃性提升。虽然这种算法在速度上很快，但是精度并不理想。另一类，为了取得精度与速度之间的平衡，基于深度学习的孪生网络跟踪算法逐渐流行。孪生网络主要由特征提取过程中共享参数的模板分支与搜索分支组成。利用相似性学习的方法，提出了全卷积孪生网络跟踪算法，通过计算目标模板与搜索区域深度特征之间的相似值，将跟踪问题转化为相似匹配问题。该算法可以使用大量数据进行端到端的离线训练，既可以获得较高的精度，也无需在线调整。通过在全卷积孪生网络目标跟踪算法中引入检测领域的区域建议网络，使用区分前景与背景、回归边界框的方法，实现了对目标尺度的灵活应对，同时得到了更为精确的边界框。实验结果表明，这种组合模型的跟踪效果要明显优于相关滤波算法和全卷积孪生网络算法。

但是，基于孪生网络的大部分目标跟踪算法中存在两大不足：

(1)基于孪生网络的跟踪算法的识别能力，在很大程度上受限于全卷积孪生网络跟踪算法中骨干网络较弱的特征提取能力。

(2)没有考虑有效在线模板更新策略。当跟踪过程中目标发生较大变化，会造成原模板有用信息减少，跟踪器出现漂移得不到及时调整。

因此，本发明针对上述的痛点，提出了一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，能够更够准确的跟踪目标；而且，本发明能够有效解决孪生骨干网络特征提取能力弱、跟踪过程模板不更新造成模型漂移等问题，提出了一种全新的端到端的深度模型，有效提升了方案跟踪性能。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，包括如下步骤：

步骤S1，将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出127×127×3大小的图像作为模板图像，在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出255×255×3大小的图像作为搜索图像，将模板图像数据与搜索图像数据分别输入到模板分支与搜索分支中，分别得到模板特征数据w₁与搜索特征数据x。

步骤S2，将模板特征数据w₁与搜索特征数据x输入到可变形卷积网络中，学习各个特征数据在不同方向上的自适应偏移量，输出模板偏移核与搜索偏移特征，将模板偏移核和搜索偏移特征分别进行互相关得到偏移图c。

步骤S3，将模板特征数据w₁与搜索特征数据x与偏移图c经过可变形互相关得到最终响应图。