[发明专利]基于多挑战交互学习的实时RGBT跟踪方法及装置

说明书

本发明涉及基于多挑战交互学习的实时RGBT跟踪方法及装置，包括以下步骤；S1、训练网络模型；所述网络模型包括依次串联的第一主干网络模块、第二主干网络模块、第三主干网络模块、自适应感兴趣区域对准操作层、全连接层；所述第一主干网络模块包括第一双流CNN网络模块、第一挑战感知器分支模块，S2、基于训练后的网络模型进行跟踪，确定目标位置。本发明实现了RGBT多模态的视频跟踪，有效的增加了特征表达的丰富性，提高了跟踪的鲁棒性，并达到了实时的跟踪性能，一定程度上解决了RGBT跟踪中缺少大规模的带标注的数据集，并且使用小规模的训练数据进行的学习无法捕获目标的外观多样性的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于多挑战交互学习的实时RGBT跟踪方法及装置。

背景技术

RGBT(RGBT(Red Green Blue Thermal，红绿蓝热红外)跟踪的任务是利用RGB和热红外信息的互补优势，在给定第一帧的初始状态的情况下，估计视频序列后续帧中指定目标的状态(即位置和大小)。由于RGBT跟踪在全天候和全天候监视以及无人驾驶等方面的潜在价值，RGBT跟踪也变得越来越流行。尽管RGBT跟踪已经取得了许多突破，但仍然存在部分挑战，包括光照变化，热交叉和遮挡等，这仍然是未解决的。

从简单的加权融合和稀疏表示到深度学习技术，已经提出了许多有效的算法来解决RGBT跟踪的问题。目前，深度学习跟踪器成为了该研究领域的主流。这些跟踪器可以分为三类，包括多模式表示模型(例如MANet)，多模式融合模型(例如mfDiMP)以及它们的混合形式(例如DAPNet)。尽管这些算法在RGBT跟踪中都取得了巨大的成功，但并未考虑在不同挑战下的目标外观表示变化可能会限制其跟踪器性能。

RGB和热源数据拥有共享的和特有的挑战，如何探索和利用这些挑战，在RGBT跟踪的目标外观表示中起着至关重要的作用。现有的RGBT跟踪数据集为每个视频帧手动标注的五个挑战属性，即照度变化(IV)，快速运动(FM)，比例变化(SV)，遮挡(OCC)和热交叉(TC)。其中FM，SV和OCC是这两个模态(RGB模态、T模态)共享的挑战，而IV、TC分别是RGB、T模态特有的挑战。当前的RGBT跟踪算法并未充分考虑不同模态的互补挑战特征优势，而事实上，例如RGB模态特有挑战IV，若算法在当前模态的训练处于劣势(即无法在该挑战下取得良好的跟踪效果)，可以结合在该挑战下处于优势(与劣势相反)的T模态训练的特征信息，最终生成稳定的目标外观表示。

例如申请号为“CN201910630002.1”的发明专利申请公开了一种RGBT目标跟踪模型的训练方法及装置，方法包括：1)、构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型，稠密特征聚合模块包括提取可见光图像特征的第一卷积层序列；以及提取热红外图像特征的第二卷积层序列，第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层；除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层，第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中；分类模块包括依次串联的若干层全连接层；2)、使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练跟踪模型，得到目标跟踪模型，但是该方案仅是通过构建由稠密特征聚合模块以及分类模块组成的跟踪模型，并未充分利用两个模态之间的挑战标注去实现鲁棒的目标外观表示。

发明内容

本发明所要解决的技术问题主要是如何利用模态共享和特定挑战标注实现鲁棒的目标外观表示问题。

本发明通过以下技术手段实现解决上述技术问题的：

基于多挑战交互学习的实时RGBT跟踪方法，包括以下步骤；

S1、训练网络模型；

所述网络模型包括依次串联的若干级主干网络模块、自适应感兴趣区域对准操作层、全连接层；所述若干级主干网络模块包括第一主干网络模块、第二主干网络模块、第三主干网络模块，所述第一主干网络模块包括并行的第一双流CNN网络模块、第一挑战感知器分支模块，