[发明专利]一种基于深度学习的无人机目标跟踪系统

说明书

本发明公开了一种基于深度学习的无人机目标跟踪系统，通过设计一个基于Anchor‑free的聚合多尺度的目标跟踪系统，采用图注意力模块（GAM）替代了传统的互相关，更加有效地将目标信息从模板区域传递到搜索区域；针对目标跟踪中尺度变化等问题，采用了融合多尺度感受野结构，从而提出了Encoder模块；针对目标跟踪中计算复杂等问题，采用了自适应锚点的结构，大大减少了超参数，进而设计了Decoder模块；特征提取网络提取足够的语义信息经过GAM模块后送到Encoder模块；Encoder模块可以看做是一个单入多出的编码器，经过Encoder所得到的特征随后进入Decoder模块。

技术领域

本发明涉及一种基于深度学习的无人机目标跟踪系统，属于计算机视觉和图像处理技术领域。

背景技术

视觉目标跟踪是计算机视觉的一项基础的、具有挑战性的任务。它是针对给定视频或者图像序列，以初始帧目标的位置和大小进行初始化，逐帧跟踪所指示的目标。近年来空中跟踪因其应用广泛，如室内避障、灾难响应和安装传感器而受到广泛的关注。空中跟踪的目标是根据目标的初始状态从而预测目标在后续帧中的位置。

空中跟踪与常规跟踪最显著的区别是，由于空中平台资源有限，空中跟踪在实时速度、低分辨率、严重遮挡和长期跟踪方面需要投入更多的关注。此外由于无人机(UAV)强大的灵活性，无人机跟踪已经引起相当大的关注，如航空摄影、路径规划等。由于嵌入式平台上的计算资源有限，尽管付出了巨大的努力，为无人机设计高效、准确、稳定的跟踪器仍然是一项具有挑战性的任务。

一般来说，无人机跟踪领域有两种主流方法，即基于相关滤波(CF)的方法和基于深度学习(DL)的方法。基于相关滤波方法的在线跟踪器因为计算复杂度低而被广泛的采用。尽管效率很高，但是基于相关滤波的跟踪器在精确度和鲁棒性方面很难满足无人机在复杂场景下的跟踪需求。而基于深度学习的方法通过利用深度特征提取在跟踪性能方面取得了显著的进步。因此高效的基于深度学习的算法是平衡性能和速度的一种很有前景的方法。在基于深度学习方法的跟踪器中，具有孪生网络的跟踪器因为其在目标跟踪方面的巨大潜力而存在较大的优越性。

发明内容

本发明需要解决的技术问题是提供一种基于深度学习的无人机目标跟踪系统，基于Anchor-free的聚合多尺度的目标跟踪系统，使其在无人机跟踪领域的各种复杂场景下均能展现出良好的性能；采用一个图注意力模块(GAM)来替代传统的互相关，更加有效地将目标信息从模板区域传递到搜索区域；针对目标跟踪中尺度变化等问题，采用了融合多尺度感受野结构；针对目标跟踪中计算复杂等问题，采用了自适应锚点的结构，大大减少了超参数。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于深度学习的无人机目标跟踪系统，包括如下模块：

特征提取网络，包括一个孪生网络，该网络有两个共享结构的分支，即模板分支和搜索分支。

图注意力模块(GAM)，给定模板帧图像T和搜索帧图像S，通过特征提取网络获得相对应的特征图F_t和F_s。我们将特征图的每个1×1×c网格视为一个节点，其中c表示特征通道的数量。设V_t为包含F_t所有节点的节点集，V_s为包含F_s所有节点的节点集。用一个完全二部图G＝(V,E)来建模目标区域和搜索区域之间的部分级连关系，其中V＝V_s∪V_t，G的子图分别是G_t＝(V_t,φ)、G_s＝(V_s,φ)。

令e_ij表示节点i∈V_s和j∈V_t之间的相关分数:

其中是节点i和节点j的特征向量。最后我们将聚合特征与节点特征结合起来得到更强的特征：