[发明专利]一种利用时间上下文的空中跟踪方法

说明书

本发明公开了一种利用时间上下文的空中跟踪方法，步骤为：通过时间自适应卷积神经网络TAdaCNN提取特征；通过自适应转换器AT‑Trans细化相似映射；采用编码‑解码结构，编码器对当前时间步长生成时间先验知识，通过将之前的先验知识与当前相似度图相结合，解码器基于生成的时间先验知识自适应地对相似图进行细化。本发明充分利用时间上下文进行空中跟踪，并且时间上下文在两个层次上合并，即特征提取和相似度图的细化。在特征层面使用在线时间自适应卷积，在细化相似度图层面使用自适应时间转换器，可以根据时间上下文提取空间特征的在线卷积神经网络，可以在跟踪过程中有效地建模历史时间背景，以提高可分辨性和鲁棒性。

技术领域

本发明属于视觉跟踪的技术领域，尤其涉及一种利用时间上下文的空中跟踪方法。

背景技术

随着人工智能技术的发展以及控制理论算法的完善，计算机视觉逐渐成为主流热点，其在人们生活及军事领域中的地位日渐突出。在计算机视觉领域中，视觉跟踪一直都是一个重要课题和研究热点。视觉跟踪通过在连续的视频图像序列中估计跟踪目标的位置、形状或所占区域，确定目标的运动速度、方向及轨迹等运动信息，实现对运动目标行为的分析和理解，以便完成更高级的任务。

同时，而得益于无人机等飞行载具的高机动性优势，基于目标跟踪的应用得到越来越快的发展，如地理勘测，视觉定位，航空摄影等等。但空中跟踪，仍然面临着许多的困难和挑战，如由于高速飞行和飞行高度带来的运动模糊、遮挡、微小物体、长时间跟踪等挑战；空中平台的有限能力所带来的局限性。因此，开发一种鲁棒且高效的适用于空中跟踪条件的方法仍然是一项具有挑战的工作。

大多数现有跟踪器采用标准的检测框架跟踪方法，并独立的对每一帧进行检测。其中，基于差分相关滤波器(DCF)的跟踪方法由于其傅里叶域的高效率和低资源需求被广泛运用于空中平台。然而当出现快速运动和严重变形的情况时，这些跟踪器就会面临困难。最近，Siamese网络已经成为精确和鲁棒跟踪的强大框架，在许多框架结构中，在空中平台上部署基于Siamese的跟踪器时，效率得到了优化和提高。

最近，基于Siamese的方法由于其最先进的性能从众多跟踪方法中脱颖而出。基于Siamese网络的跟踪器把跟踪任务看做为学习目标模板和搜索区域的特征表示，把他们进行互相关，学习互相关后的一般相似度图。为了保证跟踪效率，Siamese相似度函数通常是离线学习的。Siamese网络的主要思想为通过一个函数将输入映射到目标空间，在目标空间使用简单的距离(欧式距离等)进行对比相似度。在训练阶段去最小化来自相同类别的一对样本的损失函数值，最大化来自不同类别的一堆样本的损失函数值。Siamese网络对类别不平衡更鲁棒，因为它需要很少的信息。它可以用于某些类样本很少的数据集，而且Siamese网络不依赖于特定领域的知识，而是利用了深度学习技术。为了满足空中跟踪的要求，一些工作提出了有效的跟踪方法。尽管实现了SOTA性能，但是跟踪器忽略了跟踪场景中的时间上下文，从而阻碍了性能改进。

基于Siamese网络，在大多数情况下时间信息都是通过动态模板引入的，动态模板通过串联、加权和、图网、变压器或内存网络将历史对象的出现集成到当前模板中。连续帧之间固有的强相关性，即时间信息被这些帧所忽略，使得这些方法难以感知目标物体的运动信息。尽管实现了效率提高，但忽略了跟踪场景中的时间上下文，从而阻碍了性能的进一步改进。尽管他们成功地将时间信息引入到视觉跟踪任务中，但在整个跟踪过程中，大多数探索都局限于单个阶段，即模板特征。因此，当目标发生大运动、遮挡等不同复杂条件下的严重外观变化时，这些跟踪器更容易失效。

发明内容

针对现有技术中的不足，本发明所要解决的技术问题在于提供一种利用时间上下文的空中跟踪方法，基于特征和相似图两个层次的时间上下文研究框架，可以根据时间上下文提取空间特征的在线卷积神经网络，可以在跟踪过程中有效地建模历史时间背景，以提高可分辨性和鲁棒性。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供一种利用时间上下文的空中跟踪方法，包括以下步骤：