[发明专利]基于对比学习的无监督视觉目标跟踪方法及系统

说明书

一种基于对比学习的无监督视觉目标跟踪方法及系统，包括：训练阶段和测试阶段，训练阶段包括：生成训练数据、构建视觉跟踪模型、设计组合损失函数以及训练模型，在测试阶段将测试的跟踪视频序列输入到训练后的视觉跟踪模型中，即对于每个待测帧，按上一帧预测得到的跟踪框作为中心进行裁剪得到输入图像，结合上一帧以及上一帧的搜索响应，得到待测帧的搜索响应，响应中最大值的位置表示跟踪目标所在位置，并结合所对应的尺度得到最终预测的跟踪框，从而完成该帧中目标的跟踪。本发明不仅能让模型进行无监督训练，还能让模型学到不同数据增强下搜索响应的一致性，从而学到更加鲁棒的无监督表征并显著提高跟踪性能。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于对比学习的无监督视觉目标跟踪方法及系统，可以用于自然场景的视觉目标跟踪中，比如，无人机动态目标跟踪。

背景技术

现有的视觉目标跟踪方法一般均基于有监督的方法训练实现，由于有监督训练需要大量标注好的训练数据且有标注的数据集的跟踪场景受到一定的限制，从而导致训练出的模型缺乏一定的泛化能力。无监督视觉目标跟踪方法相应解决这些问题，着重于寻找一个合适的辅助任务以及自监督信号，并直接使用原始数据进行训练，因此采样训练数据以及训练方式将实质性影响模型的无监督训练，进而决定无监督视觉目标跟踪方法的效果。

现有的无监督相似性判别学习的目标跟踪方法通过对提取到的特征降维聚类后作为图像类别伪标签，在一定程度上实现数据的无监督聚类，无需使用真实标签进行训练，但这类技术无法处理目标跟踪过程遇到的目标相似、目标遮挡等问题。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于对比学习的无监督视觉目标跟踪方法及系统，通过对比学习并结合有效的数据增强操作进行循环一致性学习，辅以增强对比一致性的组合损失函数，不仅能让模型进行无监督训练，还能让模型学到不同数据增强下搜索响应的一致性，从而学到更加鲁棒的无监督表征并显著提高跟踪性能。

本发明是通过以下技术方案实现的：

本发明涉及一种基于对比学习的无监督视觉目标跟踪方法，包括：训练阶段和测试阶段。

步骤1)训练阶段：生成训练数据、构建模型、设计损失函数以及训练模型，具体包括：

步骤1.1)对于训练集中的一个连续的视频序列，在预设的一段时间间隔内，采用随机采样的方式来选择两个帧作为一组训练数据，然后对所有采样得到的训练数据都进行中心裁剪，得到尺寸大小为原图大小1/2的图像块，并进行尺寸的缩放，使其具有统一的尺寸大小125x125。

步骤1.2)构建一个基于对比学习的孪生网络模型，该模型包括前向跟踪模块和后向跟踪模块，其中的前向跟踪模块采用孪生网络框架进一步包括模板分支和搜索分支；后向跟踪模块采用孪生网络框架进一步包括两个模板分支和一个搜索分支。

后向跟踪模块中，第一模板分支的输入为模板帧，并经过特征提取模块提取特征；第二模板分支的输入为模板帧经过对比度改变得到的结果，并经过特征提取模块提取特征；搜索分支的输入为搜索帧，并经过特征提取模块提取特征；从而构建成一个对比框架。

所述的孪生网络模型中所有模板分支和搜索分支均共享特征提取模块，该共享特征提取模块包括：两个卷积层，一个激活函数层和一个局部响应归一化层。

所述的特征提取模块的输出端进一步设有一个用来结合模板特征和搜索特征得到最终的搜索响应的相关滤波器。