[发明专利]基于深度特征的多目标追踪方法及系统

说明书

本发明实施例提供一种基于深度特征的多目标追踪方法及系统，所述方法包括：获取在当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配；计算未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。本发明实施例能有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数。

技术领域

本发明实施例涉及深度学习技术领域，更具体地，涉及一种基于深度特征的多目标追踪方法及系统。

背景技术

多目标跟踪的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。

随着目标检测技术的飞速发展，通过检测跟踪(Tracking by detection)在多目标跟踪中成为主流。在这一处理模式中，目标轨迹是通过对整个视频流的全局优化处理计算而得到的，如flow网络、概率图模型等。然而，批处理使得这些方法不适用于需要实时目标检测的在线场景。更为传统方法是多假设跟踪(Multiple Hypothesis Tracking)和联合概率数据关联滤波(Joint Probabilistic Data Association Filter)。还有一种方法是简单在线实时跟踪(Simple online and realtime tracking，SORT)框架通过在图像空间执行卡尔曼滤波，以及使用Hungarian方法实现帧间数据关联，关联指标是测量边界框的重叠。

现有的多目标跟踪方法存在ID切换，计算和实现的复杂度较大，并且在有遮挡时跟踪性能较低的问题。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于深度特征的多目标追踪方法及系统。

第一方面，本发明实施例提供一种基于深度特征的多目标追踪方法，包括：

将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；

基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；

根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；

计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。

第二方面，本发明实施例提供一种基于深度特征的多目标追踪系统，包括：

特征提取模块，用于将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；

预测模块，用于基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；

级联匹配模块，用于根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；

IOU匹配模块，用于计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。