[发明专利]基于在线多特征选择的通道注意力目标跟踪方法

说明书

本发明公开了一种基于在线多特征选择的通道注意力目标跟踪方法。本发明对不同深度的特征根据跟踪目标的尺寸进行在线选择，并加入通道注意力机制来强化每层特征通道之间的相互依赖性，本发明还设计了一种新颖的体系结构单元，即“Cropping‑inside和Squeeze‑excitation Residual”(CSR)单元，它消除了填充的影响，并通过增强卷积特征通道之间的相互依赖性来提高网络的表示质量，通过堆叠CSR单元构建自裁剪和挤压激发残差网络(CSResNet)。在光照变化、尺度变化、遮挡、背景模糊和形变等极端的跟踪环境下，本发明方法依旧能保持较高的精度。

技术领域

本发明属于计算机视觉技术领域，具体涉及数字图像的目标跟踪技术领域，特别是涉及一种基于在线多特征选择的通道注意力目标跟踪方法。

背景技术

目标跟踪是计算机视觉中的一个较为复杂的问题，需要解决两个主要任务：首先，挖掘有关感兴趣对象的某种程度的推理；其次，跟踪器必须建立帧与帧之间的对象对应关系，并估计视频序列中任意目标的位置，而仅将对象在初始帧中的位置。目标跟踪被广泛用于许多视觉应用中，例如监控、智能诊断、人工智能和自动驾驶等领域。

基于孪生网络的跟踪器因其良好的精度和效率而备受关注。他们将目标跟踪问题转化为由神经网络实现的图片匹配问题，许多跟踪器都是高速和端到端网络。有学者将相关过滤器(CF)集成到网络层中，并将其嵌入基于孪生网络的框架中。SiamRPN将区域推荐网络模块用于目标检测以跟踪任务，并将原始相似度计算问题转换为回归和分类问题。基于孪生网络的跟踪器倾向于利用浅层特征图来训练目标的准确定位。尽管现有的基于深度跟踪器的孪生网络具有最先进的性能，但我们注意到大多数跟踪器的主干都相对较浅，例如SiamRPN与AlexNet，这些跟踪器都在类似于AlexNet等浅层网络上构建的主干网络。

大多数孪生网络跟踪器将VGG或AlexNet用作主干，这些主干相对较浅，无法充分利用深度神经网络的功能。为了探索解决此问题的方法，有学者针对以下事实进行了深入的研究和大量的对比实验，即在孪生跟踪器中使用深层网络不会带来性能改进。他们发现，采用填充操作的深度网络的引入在学习中引起了位置偏差，并破坏了孪生网络中严格的平移不变性，从而限制了深度网络在跟踪任务中的应用。更深的网络意味着更深入的特征图，但是，只使用固定深度的网络无法有效利用浅层网络的空间位置信息和深层次网络的高层语义信息，导致训练出的模型在复杂环境下的鲁棒性受到限制。

发明内容

为了解决上述技术问题，本发明提出了一种基于在线多特征选择的通道注意力目标跟踪方法。

本发明方法将对不同深度的特征根据跟踪目标的尺寸进行在线选择，并加入通道注意力机制来强化每层特征通道之间的相互依赖性。

本发明还设计了一种新颖的体系结构单元，即“Cropping-inside和 Squeeze-Excitation Residual”(CSR)单元，它消除了填充的影响，并通过增强卷积特征通道之间的相互依赖性来提高网络的表示质量。通过堆叠CSR单元构建自裁剪和挤压激发残差网络(CSResNet)，在本发明提出的算法中，该CSResNet 被用作主干网络。

另外，考虑到跨层次的特征选择的目标函数不应该使用类似Smooth L1这样带有距离信息的损失函数，本发明引入GIoU损失作为特征选择的目标函数。

首先介绍关键模块，Cropping-inside and Squeeze-excitation Residual(CSR)单元，该单元可以消除填充引起的位置偏差并增强通道之间的相互依赖性。然后，我们展示了如何通过堆叠CSR单元来构建CSResNet主干；最后，使用特征选择机制进行网络分支的在线选择，并引入了GIoU损失来代替RPN中的Smooth L1 损失，以提高跟踪性能。