[发明专利]一种基于深度学习的无人机目标跟踪系统

权利要求书

1.一种基于深度学习的无人机目标跟踪系统，其特征在于：包括如下模块：

特征提取网络，包括一个孪生网络，用于提取目标特征；

图注意力模块GAM，替代传统的互相关，更加有效地将目标信息从模板区域传递到搜索区域；

Encoder模块，包括投影层和剩余块两部分，融合多尺度感受野；

Decoder模块，包括锚点建议网络APN和一个多分类回归网络；采用自适应锚点，减少了超参数，降低了计算量；采用多分类回归分支，能够精确的实现分类，提高该系统的鲁棒性。

2.根据权利要求1所述的一种基于深度学习的无人机目标跟踪系统，其特征在于：所述特征提取网络，有两个共享结构的分支，即模板分支和搜索分支。

3.根据权利要求1所述的一种基于深度学习的无人机目标跟踪系统，其特征在于：所述图注意力模块GAM，给定模板帧图像T和搜索帧图像S，通过特征提取网络获得相对应的特征图F_t和F_s，将特征图的每个1×1×c网格视为一个节点，其中c表示特征通道的数量；设V_t为包含F_t所有节点的节点集，V_s为包含F_s所有节点的节点集；用一个完全二部图G＝(V,E)来建模目标区域和搜索区域之间的部分级连关系，其中V＝V_s∪V_t，G的子图分别是G_t＝(V_t,φ)、G_s＝(V_s,φ)；

令e_ij表示节点i∈V_s和j∈V_t之间的相关分数:

其中是节点i和节点j的特征向量；最后将聚合特征与节点特征结合起来得到更强的特征：

其中||表示向量拼接，W_v是线性变换矩阵，所有并行计算，为后续任务生成响应图。

4.根据权利要求1所述的一种基于深度学习的无人机目标跟踪系统，其特征在于：所述Encoder模块，是一个单入多出的结构，包括一个投影层和两个剩余块；投影层首先应用1×1卷积层来减少通道维数，然后通过3×3卷积层来细化语义上下文信息；剩余块包括三个连续的卷积块：第一个1×1卷积进行信道缩减，缩减率为4，然后用一个3×3扩张卷积来扩大接收域，最后用一个1×1卷积来恢复通道数量；在3×3卷积层中依次叠加4个不同扩张速率的残差块，生成具有多个接收域的输出特征，以此来覆盖所有对象的尺度。

5.根据权利要求1所述的一种基于深度学习的无人机目标跟踪系统，其特征在于：

(1)所述Decoder模块中的锚点建议网络APN：为了在不牺牲跟踪性能的前提下提高跟踪效率，采用减少锚点数量，充分利用锚点的方法；构建锚点建议网络；特征提取网络中φ₅(x)和φ₅(z)首先与核函数进行卷积，通过图注意力模块GAM传入Encoder，然后APN利用Encoder提取到的特征作为建议锚点；利用卷积算子，可以提取到更深层次的语义信息，从而可以得到更全面更稳定的锚点；采用Anchor-free的思想，针对不同的场景，不需要设置过多的超参数，采用自适应锚的方式，自动的选择正负训练样本；其对应损失函数如下：

其中L₂是L2loss,D(i,j:)为建议锚点响应图；与预先定义的锚点不同，建议锚点的位置和大小可以灵活地适应跟踪过程中场景的变化，特别是在低分辨率、快速运动和遮挡的情况下；自适应锚点的语义信息也有助于进行准确的分类和更加稳定的回归；

(2)Decoder模块中分类分支输出三个分类特征图第一个分支通过计算锚点与真实框之间的重叠来对正锚点进行分类，第二个分支将锚点的中心点考虑在内，第三个分支计算最终中心点与真实框之间的距离，以实现精确的分类；综合这三个分支，总体的损失函数为：

L_cls＝λ_cls1L_cls1+λ_cls2L_cls2+λ_cls3L_cls3 (4)，

其中L_cls1和L_cls2为交叉熵损失函数，L_cls3代表二元交叉熵损失函数，λ_cls1λ_cls2λ_cls3分别是这三个分支的权重系数，中每个点都包含二维向量，表示每个锚点的质量演化，集中估计对应位置的前景和背景分数，考虑到不同损失函数的优点，采用smooth L1loss和IoUloss进行回归，因此回归的损失计算公式为：

其中α为超参数，反映了对正负样本的倾向性，ious表示所提出的锚点与真实边界框之间的IoU得分。