[发明专利]一种基于高分辨率孪生网络的卫星视频目标跟踪方法

说明书

本发明公开了一种基于高分辨率孪生网络的卫星视频目标跟踪方法。本发明采用轻量级的并行网络获得小目标高分辨率的表征，实现鲁棒且实时地跟踪。并在跟踪的基础上提出了一种像素级微调模型。其利用帧间运动信息，建立高斯混合模型，检测变化像素，获得二进制掩模图。采用MeanShift算法在掩模图上反复迭代，达到像素水平的精调。同时考虑到表面特征和运动特征的互补性，进一步对跟踪位置和精调位置进行自适应融合，最终获得更为精准的跟踪。

技术领域

本发明属于卫星视频目标跟踪技术领域，具体涉及一种基于高分辨率孪生网络的卫星视频目标跟踪方法。

背景技术

目标跟踪是计算机视觉科学的一个重要分支，它在视频监控、智能交通、人机交互、军事领域以及机器人视觉导航等领域中有着广泛的应用。其目的是通过一定的相似性度量和匹配搜索方法实现目标跟踪和定位。迄今为止，传统视频序列的目标跟踪技术发展相对比较完善。针对不同的应用场景以及需求，研究人员已经设计研发了多种目标跟踪方法。最近，基于深度学习的孪生网络以其惊人的精度和速度在传统跟踪领域引起了广泛的关注。这些基于孪生网络的跟踪器将视觉目标跟踪问题表示为通过学习目标模板和搜索区域的特征表示之间的相互关联来进行匹配跟踪。为了保证跟踪效率，基于孪生网络的跟踪器采用离线训练在线跟踪的方式。然而，孪生网络跟踪器中使用的主干网相对较浅，如AlexNet，没有充分利用现代深度神经网络的能力。此外，大多数基于孪生网络的跟踪器使用低分辨率特征，或从低分辨率特征中恢复高分辨率特征，如采用Unet作为backbone，很难达到像素级的跟踪精度。

最近几年随着太空成像技术的发展，最新的卫星遥感技术能够获得高分辨的对地观测视频。在2013年，国际空间站发布了空间分辨率达1米对地观测视频。在2015年，我国发射的吉林一号卫星也能够提供空间分辨率为0.7米的对地观测视频。卫星视频正成为一种重要的空间大数据资源，可广泛应用于资源普查、灾害监测、海洋监视、动态目标连续跟踪、动态事件观测等军民应用领域。

卫星视频目标跟踪与传统视频跟踪相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标。同时也面临新的挑战：

(1)卫星视频单帧图像大，对跟踪方法的实时性要求很高。

(2)跟踪目标小，空间分辨率低，表征特征少。

(3)目标部分遮挡或全部遮挡。

(4)运动模糊，与背景极为相似。

在卫星视频目标跟踪领域，由于其特点和挑战，亟待提出一种既能鲁棒跟踪特征极少的小目标，又能满足卫星视频跟踪实时性的要求的技术方案。

发明内容

为了克服上述现有技术要求，本发明提供了一种实时精准的卫星视频目标跟踪方法。

本发明所采用的技术方案是一种基于高分辨率孪生网络的卫星视频目标跟踪方法，采用轻量级的并行网络获得小目标高分辨率的表征，实现鲁棒且实时地跟踪。并在跟踪的基础上提出了一种像素级微调模型。其利用帧间运动信息，建立高斯混合模型，检测变化像素，获得二进制掩模图。采用MeanShift算法在掩模图上反复迭代，达到像素水平的精调。同时考虑到表面特征和运动特征的互补性，进一步对跟踪位置和精调位置进行自适应融合，最终获得更为精准的跟踪。

本发明首先利用跟踪分支获得目标跟踪框，所述跟踪分支的基本框架是SiamRPN，包括孪生特征提取子网络和孪生区域生成子网络；然后利用微调分支将目标跟踪框移动到包含最多目标点数的区域，达到像素水平的精调，具体包括如下步骤：

步骤1，将首帧以目标为中心的图像块，记为模板Z，输入到高分辨率并行网络中，获得模板Z的高分辨率表征

步骤2，将当前帧的搜索区域图像块，记为搜索区域X，输入到高分辨率并行网络中，获得搜索区域X的高分辨率表征