[发明专利]基于深度学习及多任务联合训练的多目标跟踪方法

说明书

本发明公开了一种基于深度学习及多任务联合训练的多目标跟踪方法，主要解决现有基于深度学习的多目标跟踪方法不能在联合训练中充分训练特征提取分支，导致跟踪结果存在大量目标ID错误匹配情况的问题，其实现方案为：构建一个深度神经网络模型；利用多任务联合训练方式对其进行有监督训练；将待跟踪的视频图像输入到训练好的模型输出检测目标及其目标完全特征向量和目标遮挡特征向量；再利用检测目标对应的目标完全特征向量和目标遮挡特征向量拼接成的目标融合特征向量，并将其与轨迹目标的目标融合特征向量进行匹配，实现目标跟踪。本发明降低了跟踪网络错误匹配情况产生次数，提升了跟踪网络整体性能，可用于安防监控、自动驾驶及人机交互。

技术领域

本发明属于计算机视觉与图像处理技术领域，更进一步涉及一种多目标跟踪方法，可应用于安防监控、自动驾驶及人机交互。

背景技术

目标跟踪是计算机视觉领域重要任务，在安防监控、自动驾驶及人机交互等场景下具有广泛应用。单目标跟踪主要是对视频片段中任一帧中人为选择的一个感兴趣目标，在后续的视频帧中逐帧搜索定位。单目标跟踪一般包括运动建模和外观建模等模块，其中运动建模确定搜索区域，在搜索区域内进行目标检测，对检测到的目标再根据外观模型实现目标定位，即判断检测到的目标是否为待搜索目标。基于检测的多目标跟踪方法与上述单目标跟踪方法类似，在单目标跟踪技术的基础上同时对多个感兴趣目标进行检测跟踪。其难点在于：在单目标跟踪任务中，除了待跟踪目标，视频帧中其他图像部分均被当作背景信息处理，因此外观建模部分相对简单，只需识别出包含待跟踪目标的区域即完成目标定位；而在多目标跟踪任务中，由于多个待跟踪目标可能存在相互遮挡重叠的情况，进而导致检测出的某一待跟踪目标区域中可能存在其他待跟踪目标的部分信息，因此需要设计实现一个具有遮挡重叠鲁棒性的外观模型，使其能够在存在多目标区域重叠时，区分出检测出的各目标真实所属类别。

近年来，在深度学习的背景下，基于检测的跟踪范式被广泛应用于多目标跟踪任务。该范式主要包括三个部分：目标检测、特征提取和数据关联。其中深度卷积网络主要用于目标检测和特征提取两个阶段。Yu等在论文“Poi：Multiple object tracking withhigh performance detection and appearance feature”(European Conference onComputer Vision，2016，pp.36-42.)中提出用深度学习代替传统的人为设计，更简单地实现目标外观特征提取，且深度特征提取网络也更具普适性。但该方法需要分别训练目标检测网络和特征提取网络，所以存在两个问题：1)特征提取网络只能实现对目标的外观建模，而不能有效学习帧间目标关系，不能学习到目标的运动模型；2)跟踪模型不能端到端训练，且目标检测和特征提取两个阶段串行进行的跟踪速度太慢。Wang等在论文“Towards real-time multi-object tracking”(European Conference on Computer Vision，2020，pp.107-122.)中首次将目标检测和特征提取两个模块统一到一个名为联合检测与特征提取的跟踪网络JDE中训练。其设计了一种多任务联合训练方式，即将JDE网络中的检测分支损失函数和特征提取分支损失函数组合形成联合损失函数作为JDE模型的损失函数，使检测分支和特征提取分支在训练时可以同步优化，实现跟踪网络端到端训练。因为JDE模型联合了目标跟踪任务中目标检测和特征提取任务，所以其可以实现接近实时的跟踪速度。但由于JDE模型的特征提取分支设计过于简单，导致特征提取分支不能充分优化，JDE模型不能充分学习到目标的视觉显著性特征，进而使数据关联阶段产生大量目标漂移和错误匹配情况。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习及多任务联合训练的多目标跟踪方法，以降低跟踪网络错误匹配次数，提升跟踪网络整体性能。

本发明的技术方案是：构建一个具备提取目标强视觉显著性特征能力，且能将目标检测与特征提取两个任务统一在一个网络模型中联合训练的深度神经网络模型；基于该网络模型进行多目标跟踪，具体实现包括如下：