[发明专利]一种联合注意力机制端到端训练的行人多目标跟踪方法

说明书

本发明公开了一种联合注意力机制端到端训练的行人多目标跟踪方法，收集带标签的视频序列的行人数据集，并利用标签中每个视频的第一帧真实边界框作为模板样本，再根据样本的中心在第二帧中裁剪出正搜索区域样本，以及在不是同类目标的区域裁剪出负搜索区域样本，组成三元组数据输入，然后利用卷积神经网络提取样本的特征信息，再使用注意力机制模块指导网络模型倾向重要的特征信息，最后计算相似度和数据关联。本发明将基于孪生网络的单目标跟踪和关联网络集成到统一的网络结构中，并结合注意力机制是网络偏重学习有意义的特征信息，提高网络模型的特征表达能力，提高计算效率，简化训练过程。

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种联合注意力机制端到端训练的行人多目标跟踪方法。

背景技术

随着深度学习和计算机算力地快速发展，计算机视觉领域变成计算机科学学科中非常重要的研究分支，而且许多研究方法得到了落地，衍生出产品加快了社会的智能化进程。在现实生活中行人多目标跟踪是计算机视觉领域中应用较多的方向，如智能视频监控、人机交互、监护机器人等等方面。

行人多目标跟踪是通过对视频序列的图像进行处理和分析，获取图像中多个行人的位置信息、运动轨迹，并对目标类别进行区分的视觉任务。行人多目标跟踪过程易受环境、行人姿态、行人外貌等外界因素影响，跟踪方法的稳定性、性能还存在非常大的挑战性。

行人多目标跟踪算法主要分为四个步骤：行人检测、特征提取或运动轨迹预测、计算相似度以及数据关联。早期出现的算法大多数采用相关滤波技术，经典算法有KCF、CSK，这类算法是使用滤波技术从历史帧图像和当前帧图像中搜索感兴趣区域，但是该类算法容易被边界效应的影响，目前还需不断改进。后期，卷积深度特征的出现颠覆了手工特征的地位，并且以其对目标更强的特征表达能力得到了更多领域技术的青睐，基于深度学习的行人多目标跟踪方法主要使用卷积神经网络提取行人目标的特征信息，然后计算检测结果的相似度，最后再将同类目标进行关联，得到行人的运动轨迹，如基于孪生网络的跟踪算法的系列算法，该类算法取得了更好的跟踪效果。

目前，基于深度学习的行人多目标跟踪方法大多数是将行人跟踪算法分成跟踪部分和数据关联部分分开训练计算的，使整个计算过程变得复杂，增加了冗余的计算量和内存开销。因此，急需提出一种结构简洁、训练方便的行人多目标跟踪方法，将目标跟踪网络和关联网络集成到统一的网络结构中，并结合注意力机制是网络偏重学习有意义的特征信息，提高网络模型的特征表达能力，提高计算效率，简化训练过程。

发明内容

本发明的目的在于提供一种联合注意力机制端到端训练的行人多目标跟踪方法，旨在解决上述问题。

本发明主要通过以下技术方案实现：

一种联合注意力机制端到端训练的行人多目标跟踪方法，包括以下步骤：

步骤S100：收集带标签的视频序列的行人数据集，并利用标签中每个视频的第一帧真实边界框初始化跟踪框，作为模板样本，再根据跟踪框的中心在第二帧中裁剪出正搜索区域样本，以及在不是同类目标的区域裁剪出负搜索区域样本；所述模板样本、正搜索区域样本、负搜索区域样本组成三元组，作为训练样本输出；

步骤S200：构建深度神经网络模型，利用卷积神经网络部分提取样本的特征信息，再使用注意力机制模块指导网络模型倾向重要的特征信息，最后计算相似度和数据关联；

步骤S300：设定指导网络模型训练的损失函数分为验证损失函数、单目标追踪损失函数以及数据对损失函数；

步骤S400：预先制定优化策略衰减损失值，以及设定相关超参数，重复计算，直至损失值收敛，精度最优。

本发明包括以下步骤：