[发明专利]基于全卷积孪生网络和轨迹预测的卫星视频目标跟踪方法

权利要求书

1.一种基于全卷积孪生网络和轨迹预测的卫星视频目标跟踪方法，支持对卫星视频数据集中小目标进行跟踪，其特征在于：采用全卷积孪生网络的浅层信息，获得小目标细粒度的表征，并进行相似性度量及跟踪，所述全卷积孪生网络包括两个权值共享的全卷积模块和互相关层，两个全卷积模块的输出连接到互相关层；为了应对小目标在跟踪过程中出现遮挡以及运动模糊的情况，引入Kalman滤波机制对运动轨迹进行自适应预测，最终实现对卫星视频数据集中的目标进行鲁棒且精准的跟踪。

2.根据权利要求1所述基于轨迹预测和全卷积孪生网络的卫星视频目标跟踪方法，其特征在于：实现过程包括以下步骤，

步骤1，将首帧以目标为中心的图像块，记为模板Z，输入到一个全卷积模块，并将浅层特征作为模板Z的细粒度表征

步骤2，将当前帧的搜索区域图像块，记为搜索区域X，输入到权值共享的另一个全卷积模块，并将浅层特征作为搜索区域X的细粒度表征

步骤3，在互相关层中，将模板Z的细粒度表征在搜索区域X的细粒度表征上进行滑动匹配，得到响应图，将响应图中最大值所对应的原图位置，作为目标跟踪所在位置p；

步骤4，将当前帧的搜索区域X，输入到高斯混合模型中获得运动目标的侦测图，作为运动前景掩模；

步骤5，通过团分析对步骤5所得前景掩模进行计算，将最大团的面积和质心作为目标的面积A*以及侦测位置p*；

步骤6，将步骤3所得跟踪位置p和步骤5所得侦测位置p*，输入到Kalman滤波机制中，在目标遮挡以及模糊时对目标进行轨迹自适应预测，从而获得更加稳定精准的跟踪位置P。

3.根据权利要求2所述基于轨迹预测和全卷积孪生网络的卫星视频目标跟踪方法，其特征在于：步骤6中，对目标进行轨迹自适应预测的实现方式包括以下四种情形：

a)在初始N帧中，直接将全卷积孪生网络跟踪获得的位置p作为最终目标所在位置P，N为预设的初始帧数；

b)当侦测的面积大于等于预设的阈值K,，则表示目标表面特征明显，不激活Kalman滤波机制，直接将全卷积孪生网络跟踪获得的位置p作为最终目标所在位置P；

c)当侦测的面积小于预设的阈值K,但大于0，则判断目标出现部分遮挡或模糊的情况，激活Kalman滤波的预测和矫正机制；

d)当侦测的面积等于0，则判断是目标完全遮挡或者跟丢，只激活Kalman滤波的预测。

4.根据权利要求3所述基于轨迹预测和全卷积孪生网络的卫星视频目标跟踪方法，其特征在于：情形c)中，Kalman滤波的预测和矫正机制实现如下，

建立预测公式，

x_k＝A_kx_k-1+B_ku_k+w_k

建立矫正公式，

z_k＝H_kx_k+v_k

其中，

x_k是k帧状态向量，表示目标在第k帧的预测位置，x_k-1是k-1帧目标的最终位置，表示k-1帧中最终目标所在位置；A_k是状态转换矩阵，u_k是外部控制向量，B_k是外部控制矩阵；z_k是k帧测量向量，表示位置矫正值；H_k是观察矩阵，由侦测位置确定；随机变量w_k和v_k分别代表状态噪声和测量噪声；

将k-1帧目标的最终位置输入预测公式，并用第k帧的侦测位置更新观察矩阵H_k，将x_k带入矫正公式获得矫正值z_k，得到第k帧最终目标的位置P。

5.根据权利要求4所述基于轨迹预测和全卷积孪生网络的卫星视频目标跟踪方法，其特征在于：情形d)中，将k-1帧目标的最终位置P_k-1输入预测公式，得到第k帧的预测位置x_k，得到第k帧最终目标的位置P。

6.根据权利要求1或2或3或4或5所述基于轨迹预测和全卷积孪生网络的卫星视频目标跟踪方法，其特征在于：所述卫星视频数据集中小目标包括列车和小车、飞机。