[发明专利]基于残差分层注意力和相关性滤波器的目标跟踪方法及系统

说明书

本公开提出了一种基于残差分层注意力和相关性滤波器的目标跟踪方法及系统。本公开使用端到端训练的卷积神经网络，并将相关性滤波器作为网络中的层，实现了对运动目标进行实时的目标跟踪。而且，通过残差分层注意力学习，能够获得更有效、鲁棒的卷积目标特征，显著提升了目标跟踪的泛化能力。此外，多上下文相关性滤波层实现了以联合的方式对上下文进行感知和对回归目标进行自适应，显著提升了目标跟踪的判别能力。

技术领域

本公开涉及一种基于残差分层注意力和相关性滤波器的目标跟踪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

对一个运动的目标进行目标跟踪是计算机视觉的重要分支和研究热点，并在许多领域，如运动事件检测、视频监控、生物视觉等，应用广泛。然而，由于跟踪过程中经常出现的外形变化、光照变化、遮挡、背景干扰等问题，目标跟踪仍是一个极具挑战性的课题。

近年来，基于相关性滤波器的目标跟踪方法引起了广泛的关注，发展迅速。这类方法能够达到较高的跟踪精度，同时具有较快的处理速度。在跟踪过程中，上下文信息包含了许多重要的前景和背景线索，这些信息有助于提升目标定位的准确性。然而，基于相关性滤波器的目标跟踪方法通常是不能进行上下文感知的；部分这类方法尽管利用了跟踪过程中的上下文信息，但由于每一帧的搜索区域仅包含少量的上下文区域，且用于减弱边界效应的余弦窗会进一步减少这类方法中搜索区域包含的上下文信息。

在最近五年中，深度网络和机器学习的相关方法和技术逐渐被应用到目标跟踪中，大大提高了目标跟踪的性能。这类方法与传统的目标跟踪方法相比，其跟踪精确度和跟踪成功率都有显著的提升。然而，许多基于深度学习的目标跟踪方法采用的是像VGG或Alexnet等预先训练的网络，之后再叠加上其它已有的跟踪方法，很难满足目标跟踪实时性要求，没有真正地进行端到端的网络训练，以及充分发挥深度网络的优势。

发明内容

本公开为了解决上述问题，提出了一种基于残差分层注意力和相关性滤波器的目标跟踪方法及系统。本公开使用端到端训练的卷积神经网络，并将相关性滤波器作为网络中的层，实现了对运动目标进行实时的目标跟踪。而且，通过残差分层注意力学习，能够获得更有效、鲁棒的卷积目标特征，显著提升了目标跟踪的泛化能力。此外，多上下文相关性滤波层实现了以联合的方式对上下文进行感知和对回归目标进行自适应，显著提升了目标跟踪的判别能力。

根据一些实施例，本公开采用如下技术方案：

一种基于残差分层注意力和相关性滤波器的目标跟踪方法，包括以下步骤：

(1)读取当前帧图像，获取目标在前一帧图像中的位置和尺度，进而确定当前帧中的测试样本；

(2)将测试样本输入到训练后的卷积神经网络，获得测试样本的卷积特征，将所述特征输入至多上下文相关性滤波层，通过模型参数，获得网络响应，并确定目标在当前帧的位置和尺度；

(3)根据目标在当前帧的位置和尺度，获取训练样本，将所述训练样本输入卷积神经网络和残差分层注意力模块，获得含有注意力信息的训练样本特征；

(4)根据目标在当前帧的位置，提取转变样本，将其输入卷积神经网络，基于转变样本的网络响应，获得自适应的回归目标，之后，提取上下文样本，获得上下文样本特征，并根据含有注意力信息的训练样本特征和自适应的回归目标，得到含有多上下文信息的滤波器参数；

(5)利用获得的滤波器参数，对原有的模型参数进行更新。

作为进一步的限定，所述方法还包括步骤(6)，更新至下一帧图像，不断进行步骤(1)-(5)的迭代，直到所有图像处理完成。