[发明专利]一种基于运动模型和单目标线索的在线多目标跟踪方法

说明书

本发明公开了一种基于运动模型和单目标线索的在线多目标跟踪方法，属于多目标跟踪领域。本发明以双流结构融合运动模型与单目标线索，在避免相互干扰的基础上，综合利用运动信息和表观信息来解决多目标跟踪问题。其中，运动模型部分，建立行人非刚性运动模型来预测行人位置，建立相机刚性运动模型来模拟相机外参变化，通过行人运动预测、相机运动矫正、行人预测更新三步将相机运动嵌入到行人运动模型中，有效地缓解了相机运动所造成的干扰，能够更精确地预测行人位置；单目标线索部分，通过单目标跟踪器来搜索每一帧的跟踪目标，引入背景信息来帮助解决遮挡问题，提高了单目标跟踪器在多目标场景下的鲁棒性。

技术领域

本发明属于视频场景理解与分析中的多目标跟踪领域，更具体地，涉及一种基于运动模型和单目标线索的在线多目标跟踪方法。

背景技术

近年来，视频监控系统的普及和相机、手机等硬件成本的降低使得每天都会产生大量视频数据，单靠人工来处理难免耗时耗力，如何借助计算机来高效地分析处理这些数据成为了亟待解决的问题。计算机视觉技术研究的正是如何利用计算机来进行目标的检测、定位、跟踪、识别和行为分析等问题，其中多目标跟踪(Multi-Object Tracking，MOT)负责处理跟踪和识别任务，借助目标检测、定位类任务来帮助解决行为分析等任务。因此，多目标跟踪任务一直是计算机视觉的热门领域，备受广大研究人员的关注。多目标跟踪任务的目的是得到视频中每个目标的行动轨迹，除了要定位每个目标在每一帧的具体位置，还要保证每个目标的身份维持不变。多目标跟踪任务所得到的每个目标的行动轨迹，能够提供很多有价值的信息。比如，每个目标的位置、速度、加速度、何时出现、何时消失等信息，这些信息可以用来处理行为识别、行为预测等计算机视觉任务。另外，还可以综合多个轨迹来处理统计人流量，分析目标之间的交互等任务。因此，多目标跟踪技术在诸多领域，如自动驾驶、智能监控、机器人控制等，展现了重要的应用价值。

现有大部分多目标跟踪算法可划分为四个步骤：检测、特征提取/运动预测、相似度计算和数据关联。其中，检测阶段，许多现有的检测器质量并不够好(误检、漏检，检测精度低)，对跟踪质量影响很大；运动预测主要采用运动模型和表观模型两大模型，然而现有的运动模型建模时，往往只考虑行人非刚性运动，忽略了相机刚性运动。如图1所示，当相机运动剧烈时，视频帧中的同一位置由上一帧的第一个人变成了下一帧的第二个人，很容易会造成目标跟错，因此相机运动会干扰行人运动模型从而给多目标跟踪带来很大影响。至于表观模型，由于多目标场景中存在着大量的具有相似外观的行人，且行人之间遮挡交互频繁，无论是简单的单目标跟踪器还是复杂的ReID模型性能都受到了限制。此外，当前的多目标跟踪算法，通常仅依靠运动信息或表观信息进行运动预测，很少将运动信息和表观信息综合考虑，即使有个方法综合考虑两种信息，但往往计算复杂度高、资源占用大。

综上所述，现有多目标跟踪算法存在诸多缺陷，其精度及准确度还有待提高。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于运动模型和单目标线索的在线多目标跟踪方法，其目的在于采用双流结构融合运动模型和单目标线索，综合利用运动信息和表观信息，提高多目标跟踪的精度及准确度。

为实现上述目的，本发明提供了一种基于运动模型和单目标线索的在线多目标跟踪方法，包括：

S1.检测视频每一帧中各个目标的位置，得到目标检测框，以视频第一帧中各个目标所在位置，对跟踪轨迹进行初始化；

S2.将视频第二帧作为当前帧；

S3.将相机运动模型嵌入目标运动模型中，根据视频上一帧中各个目标的运动信息对视频当前帧中各个目标的位置进行预测，得到预测目标框；

S4.对于视频当前帧中的每个目标，将步骤S1得到的目标检测框与步骤S3得到的预测目标框输入至区域回归网络进行校正，得到校正后的检测目标框；

S5.利用单目标跟踪器对上一帧中的所有目标在当前帧进行搜索，获得各个目标的跟踪轨迹；