[发明专利]一种多层卷积特征自适应融合的运动目标跟踪方法

说明书

本发明涉及一种多层卷积特征自适应融合的运动目标跟踪方法，属于计算机视觉领域。本发明首先在第一帧图像中，初始化目标区域，利用已训练好的深度网络框架VGG‑19提取目标图像块的第一和第五层卷积特征，通过相关滤波器学习训练得到两个模板；其次在下一帧，以上一帧目标的预测位置和尺度大小提取检测样本特征，并和上一帧的两个模板进行卷积，即得到两层特征的响应图；然后对所得到的响应图依据APCE测量方法计算权重，自适应加权融合响应图来确定目标的最终位置；确定位置后通过提取目标多个尺度的方向梯度直方图特征估计目标最佳尺度。本发明更准确的定位目标，提高了跟踪精度。

技术领域

本发明公开了一种多层卷积特征自适应融合的运动目标跟踪方法，属于计算机视觉领域。

背景技术

运动目标跟踪是计算机视觉领域的一个重要研究方向，它在军事和民用方面都有着十分广泛的应用，例如战场监视、智能交通系统、人机交互等。

自从2012年AlexNet在图像分类工作中取得巨大成功以来，一系列CNN(Convolutional Neural Network,CNN)框架不断刷新纪录。相较与AlexNet,VGGNet最大的改进就是用多个3×3(3×3是能够捕获上下左右和中心概念的最小尺寸)的卷积核代替一个大尺寸卷积核，增强了网络泛化能力，Top-5错误率减少到7.3％。在VOT2017挑战赛上有人将VGGNet换成网络更深的GoogLeNet和ResNet，但是性能方面并没有得到很大提升；在计算机视觉竞赛ILSVRC上，和以上几种网络相比，VGGNet在定位方面获得第一名，所以可以采用VGGNet网络提取特征。

自Bolme等人提出误差最小平方和算法以来，相关滤波跟踪算法层出不穷，一些基于手工特征(HOG、Color Name)的相关滤波算法在目标快速跟踪方面表现出优异的性能，但是对于目标发生的剧烈形变、遮挡或出现相似物体干扰等各种复杂的情况，缺少目标语义信息的手工特征不能达到很好的鲁棒性。在相关滤波算法中，特征是决定跟踪效果的重要因素之一，特征的进一步发展就是卷积特征。一些跟踪算法利用VGGNet网络提取卷积特征以全卷积层的输出作为特征提取层，全卷积层与语义信息密切相关,对于高级视觉识别问题是有效的，但是视觉跟踪的目的是精确定位目标，不是推断它们的语义类，仅使用全卷积层的特征无法精确定位目标。

发明内容

本发明要解决的技术问题是提供一种多层卷积特征自适应融合的运动目标跟踪方法，用以解决传统手工特征如梯度方向直方图特征(Histogram of Oriented Gradient，HOG)、颜色特征(Color Name，CN)无法全面的表达目标,这些特征难以捕捉目标的语义信息，对形变、旋转等复杂外观变化没有良好的鲁棒性，在不同场景下跟踪性能差异较大的缺陷，并且能够根据可靠性判断依据APCE计算每层卷积层的权重，提高了跟踪精度。

本发明采用的技术方案是：一种多层卷积特征自适应融合的运动目标跟踪方法，方法将目标跟踪中采用传统手工特征的方法改进为卷积特征，并对目标尺度进行估计。首先在第一帧图像中，初始化目标区域，利用已训练好的深度网络框架VGG-19提取目标区域的第一和第五层卷积特征，通过相关滤波器学习训练得到两个模板；其次在下一帧，以上一帧目标的预测位置和尺度大小提取检测样本特征，并和上一帧的两个模板进行卷积，即得到两层特征的响应图；然后对所得到的响应图(response map)依据APCE(Average Peak toCorrelation Energy)测量方法计算权重，自适应加权融合响应图来确定目标的最终位置；确定位置后通过提取目标多个尺度的方向HOG特征估计目标最佳尺度。

所述方法的具体步骤如下：

Step1、初始化目标并在其所在的图像中选取目标区域；具体为以目标所在位置为中心，采集一个尺寸为目标2倍大小的图像块作为目标区域。

Step2、利用已训练好的VGG-19网络提取目标区域的第1层和第5层卷积特征作为训练样本，用训练样本训练得到对应的位置滤波器模板；