[发明专利]一种基于跨域深度卷积神经网络的视觉目标跟踪方法

说明书

本发明公开了一种基于跨域深度卷积神经网络的视觉目标跟踪方法，首先在VGG网络架构基础上构建深度卷积神经网络模型，只保留VGG网络架构前三个卷积层Conv1‑Conv3和两个全连接层FC4‑FC5，在第二个全连接层FC5之后连接多域全连接层；然后随机取出1个训练集序列，构建正样本、负样本和难例负样本对网络模型进行训练，当达到预先设定的训练次数时结束训练，即得到最终用于目标跟踪的深度卷积神经网络模型。本方法充分利用跨域的信息进行离线训练，提高了模型对于目标和背景的分辨力，并通过多任务学习显著提高视觉目标跟踪的精度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种视觉目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉中最关键的组成部分之一，已广泛应用于智能交通监控、行为分析、视觉引导等众多领域。近年来，受图像分类和物体检测的启发，深度卷积神经网络(CNN)已被广泛用于视觉目标跟踪任务。深度卷积神经网络具有的深度、多隐藏层结构以及权值共享网络，能够减少权值数量，并极大提高网络的学习能力。

杨大伟，巩欣飞,毛琳，张汝波(《重构特征联合的多域卷积神经网络跟踪算法》，激光与光电子学进展，2019，56(19)：165-173)针对已有的基于卷积神经网络的目标跟踪网络模型中存在的特征稳健性差以及目标背景信息丢失导致跟踪失败的问题，提出一种基于重构特征联合的多域卷积神经网络视觉跟踪算法。将网络末端卷积层提取的深层目标特征，通过反卷积操作上采样,获得了包含目标背景信息的重构特征,再通过联合目标高级特征和背景信息的重构特征的方式增强特征的稳健性,达到了有效区分目标和背景的目的。但该网络模型在训练阶段针对每个网络分支，仅利用单个域的正负样本进行训练，导致模型泛化性有限。此外，在在线跟踪阶段，该算法使用在线训练的回归器进行目标边界框回归，使得训练样本不足，回归精度较低。

发明内容

为了克服现有技术的不足，本发明提供了一种基于跨域深度卷积神经网络的视觉目标跟踪方法，首先在VGG网络架构基础上构建深度卷积神经网络模型，只保留VGG网络架构前三个卷积层Conv1-Conv3和两个全连接层FC4-FC5，在第二个全连接层FC5之后连接多域全连接层；然后随机取出1个训练集序列，构建正样本、负样本和难例负样本对网络模型进行训练，当达到预先设定的训练次数时结束训练，即得到最终用于目标跟踪的深度卷积神经网络模型。本方法充分利用跨域的信息进行离线训练，提高了模型对于目标和背景的分辨力，并通过多任务学习显著提高视觉目标跟踪的精度。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：构建深度卷积神经网络模型；

采用VGG网络架构，只保留VGG网络架构的前三个卷积层Conv1-Conv3和两个全连接层FC4-FC5，在第二个全连接层FC5之后连接多域全连接层；

多域全连接层的每个域对应于一个训练序列中的单个目标，并由一个用于区分目标和背景的二值分类层和一个用于定位的边界框回归层组成；多域全连接层的层数N_b等于训练集序列的个数；

步骤2：在N_b个训练集序列中随机取出1个序列，构建N_pos个正样本、N_neg个负样本和N_hard个难例负样本作为当前mini-batch的输入；其中正样本表示样本框与对应目标真实位置的重叠率大于设定阈值λ₁的样本；负样本表示与真实位置的重叠率小于定阈值λ₁且大于定阈值λ₂的样本；难例负样本表示从其他序列取得且与当前序列的目标为同一类别的正样本；