[发明专利]基于对比学习的无监督视觉目标跟踪方法及系统

权利要求书

1.一种基于对比学习的无监督视觉目标跟踪方法，其特征在于，包括：训练阶段和测试阶段，训练阶段包括：生成训练数据、构建视觉跟踪模型、设计组合损失函数以及训练模型，在测试阶段将测试的跟踪视频序列输入到训练后的视觉跟踪模型中，即对于每个待测帧，按上一帧预测得到的跟踪框作为中心进行裁剪得到输入图像，结合上一帧以及上一帧的搜索响应，得到待测帧的搜索响应，响应中最大值的位置表示跟踪目标所在位置，并结合所对应的尺度得到最终预测的跟踪框，从而完成该帧中目标的跟踪。

2.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的训练数据，通过对于训练集中的一个连续的视频序列，采用随机采样的方式来选择两个帧作为一组训练数据，然后对所有采样得到的训练数据都进行中心裁剪。

3.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的视觉跟踪模型包括前向跟踪模块和后向跟踪模块，其中：

前向跟踪模块采用孪生网络框架，具体包括：模板分支和搜索分支；

后向跟踪模块采用孪生网络框架，具体包括：两个模板分支和一个搜索分支，两个模板分支对模板进行的数据增强操作不同，从而构建成一个对比框架；

所述的孪生网络模型中所有模板分支和搜索分支均共享特征提取模块，该共享特征提取模块包括：两个卷积层，一个激活函数层和一个局部响应归一化层。

4.根据权利要求3所述的无监督视觉目标跟踪方法，其特征是，所述的后向跟踪模块中的第一模板分支的输入为模板帧，并经过特征提取模块提取特征；第二模板分支的输入为模板帧经过对比度改变得到的结果，并经过特征提取模块提取特征；搜索分支的输入为搜索帧，并经过特征提取模块提取特征；从而构建成一个对比框架。

5.根据权利要求3所述的无监督视觉目标跟踪方法，其特征是，所述的特征提取模块的输出端进一步设有一个用来结合模板特征和搜索特征得到最终的搜索响应的相关滤波器。

6.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的组合损失函数，通过三个子损失函数加权得到最终的增强对比一致性的组合损失函数，其中：第一个子损失函数是计算原始的模板分支与搜索分支前后向跟踪模块得到的搜索响应与中心初始化的高斯响应的均方误差；第二个子损失函数是计算含有数据增强操作的模板分支与搜索分支前后向跟踪模块得到的搜索响应与中心初始化的高斯响应的均方误差；第三个子损失函数是计算原始的模板分支与搜索分支前后向跟踪模块得到的搜索响应与含有数据增强操作的模板分支与搜索分支前后向跟踪模块得到的搜索响应的均方误差。

7.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的训练，利用组合损失函数进行模型的无监督训练：对于每次迭代过程，将训练数据分别标定为模板帧和搜索帧作为视觉跟踪模型的输入，具体包括：

①前向跟踪模块通过特征提取模板得到模板特征和搜索特征，再结合中心初始化的高斯响应，将这三者输入到相关滤波器模块中，得到搜索帧的搜索响应；

②后向跟踪模块将模板帧和搜索帧的位置对调，并通过特征提取模板得到此时的模板特征和搜索特征，再结合前向跟踪模块中输出的响应，将这三者输入到相关滤波器模块中，得到此时的搜索帧的响应，即一开始标定的模板帧的搜索响应；

③同时，在后向跟踪模块中，对对调后的模板分支进行数据增强操作，之后进行与步骤②相同的操作，得到经过数据增强操作后的搜索响应。

8.根据权利要求7所述的无监督视觉目标跟踪方法，其特征是，训练时基于对比学习的视觉跟踪模型中的特征提取模块中的卷积核和权重采用随机参数初始化，偏置采用全0初始化。

9.根据权利要求7或8所述的无监督视觉目标跟踪方法，其特征是，采用随机梯度下降算法进行视觉跟踪模型参数的更新，当视觉跟踪模型迭代次数达到预设的迭代次数时，停止训练并保存训练好的基于对比学习的孪生网络模型。

10.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：特征提取模块、相关滤波器模块、对比学习框架，其中：特征提取模块与相关滤波器模块相连并传输提取到的输入的特征信息；相关滤波器的输出即为跟踪响应结果。