[发明专利]基于自适应卷积的跨模态视觉跟踪方法及装置

说明书

本发明公开了一种基于自适应卷积的跨模态视觉跟踪方法及装置，属于计算机视觉技术领域，包括：输入一对配准的多模态图像，通过自适应卷积模块，在每一层卷积之后生成对应于特征图大小的权重张量，逐像素的对不同模态间的输入进行自适应融合，通过将融合结果与单个输入模态特征再次进行两个模态特征的自适应融合，实现跨模态信息交互和单个模态信息增强；根据每个视频的第一帧收集样本微调全连接层以应对特定于实例的挑战；最后送入全连接层的最末层进行二分类操作，来得到最终的预测结果。通过将融合结果与单个模态的特征执行自适应融合操作，实现模态间的特征互补，进提高跟踪模型性能。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于自适应卷积的跨模态视觉跟踪方法及装置。

背景技术

目标跟踪是计算机视觉领域中的一个热点问题，也是无人驾驶，智能交通和智能监控的关键技术之一。现在的基于检测跟踪的方法主要是训练一个二分类器，以有效的区分背景和前景。首先在视频序列中给出第一帧的边界包围框的条件下，设定一个具体的阈值来确定正负样本。在视频的后续帧中，依然是对上一帧所预测的结果附近进行高斯采样，对得到的样本进行正负样本二分类，正样本中得分最高的就是下一帧预测的结果。

目前的跟踪算法大多基于可见光单一模态条件下，但是在一些极端条件下会受到较大的影响，比如恶劣天气和光照强烈变化等，单模态跟踪算法往往表现的不尽人意，因为可见光图像对于光线比较敏感，在光照这一类的挑战环境会受到严重的影响。而热红外图像主要是根据场景中物体表面温度来成像，对于光照的变化不敏感，因此处理光照这一类挑战有天然的优势。美中不足的是热红外图像也存在着边缘迷糊，受温度影响较大的缺点。

由于可见光和红外热像数据可以在不同场景下显示出不同的特征信息，充分利用多模态下的互补性信息可以使跟踪器在复杂的情况下更准确的跟踪到目标。目前的RGBT跟踪算法在多模态特征融合过程中，一类方法是将多个模态输入拼接在一起或者相加在一起作为一个输入；另一类方法则是独立地处理每个模态的特征，将处理后的特征相加或者拼接在一起作为多模态特征融合的结果。如果某个模态的成像效果很差，而将每个模态的重要性同等看待会，给网络带来噪声并降低跟踪效果。

现有的特征融合方法是在卷积后的两个模态特征上执行简单的加权求和操作，并且只考虑单个模态的整体有用性。例如，对于输入图像，可见光模态特征产生大量无用的信息，而热红外模态特征更有用。实际上，可见光谱模型的特征可能不是完全无用的，且可以包含一些有用的信息，而热红外模态的特征也可能包含一些噪声信息。这就导致了不同模态特征的融合不够充分，无法有效保证目标跟踪的准确性。

相关技术中，申请号为202110359997.X的发明专利申请公开了一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，利用VGG-M网络来提取不同模态的模态特定特征，利用共享特征提取模块来提取两个模态之间的模态共享特征，同时在共享特征提取模块中使用多尺度特征融合的策略来增强特征以提高其鲁棒性。

但其是在每层卷积之后接入单独注意力模块，彼此之间没有特征共享，通用特征模块只是对于不同模态共享权重，对于单个模态，通用特征模态将第二层的特征进行尺寸的降低和通道数的调整，然后直接与对应自己的第三层特征直接相加，两个模态之间的融合，只是在卷积层的最后使用拼接操作直接将两个模态简单的拼接在一起。侧重实现对多尺度物体的鲁棒性以及两个模态的公共特性。

综上，现有的特征融合方法存在以下缺陷：

(1)将不同模态输入拼接在一起作为一个整体输入，或者独立地处理每个模态的特征，将处理后的特征整体加权或者拼接在一起作为多模态特征融合的结果，这些方法不能充分考虑不同模态输入的互补效果。

(2)由于手工设计的权重参数或者生成方法是固定的，没有考虑到不同的输入以及不同模态下图像输入的区别，难以应付复杂场景中的各种挑战。

发明内容

本发明所要解决的技术问题在于解决不同模态特征融合不充分的问题。