[发明专利]一种基于语义信息和场景信息的多目标跟踪方法

说明书

本发明公开了一种基于语义信息和场景信息的多目标跟踪方法，包括：分别预测场景中各个跟踪目标在当前帧中的位置，利用检测模型对所预测的位置进行修正并获得其语义得分；将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合语义得分和相似度，从而得到目标框的跟踪得分；根据目标框的跟踪得分更新场景网格的场景模型，根据场景模型计算目标框的场景置信度，并根据场景置信度更新目标框的跟踪得分；利用检测模型获得当前帧的检测结果，将目标框与检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果。本发明能够提高多目标跟踪的鲁棒性和准确性。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于语义信息和场景信息的多目标跟踪方法。

背景技术

多目标跟踪是计算机视觉领域的一项重要任务，在自动驾驶、机器人导航以及运动分析等方面有重要的应用价值。多目标跟踪的目标是估计场景中所有跟踪目标在每一帧图像中的位置并且保持同一目标的id不变，以生成目标轨迹。已有的多目标跟踪算法可分为两类：离线算法和在线算法。在离线算法中，多目标跟踪任务通常被描述为一个最优化问题，通过建立简化模型如网络流模型、k部图模型或图割模型，利用优化算法求取最优解，在优化过程中，为得到某一帧的跟踪结果，需要使用该帧之后的时间步信息，因此这类方法不适用于实时在线跟踪。而在线算法在解决当前帧跟踪问题时，仅使用当前帧以及历史信息，应用范围更广。

在线多目标方法中，会同时使用到检测算法和单目标跟踪算法，目前高精度的检测算法均使用深度学习，典型的检测网络有二阶段检测网络Faster-RCNN和RFCN，以及一阶段检测网络YOLO和SSD，其中Faster-RCNN能够达到最高的检测精度；目前主流的单目标跟踪算法有相关滤波和深度学习两个分支，深度学习类算法速度慢，精度高，而相关滤波类算法有效率高的优势，同时也能达到较高的精度。然而，现有的在线多目标跟踪算法只是机械地组合检测算法和单目标跟踪算法，实际上检测和跟踪是单独处理的，这样处理会带来两个问题：(1)检测过程仅针对单幅图像，没有利用视频的序列信息，容易出现轨迹不连续现象；(2)跟踪过程没有利用检测时使用的语义信息，容易发生跟踪漂移。由于存在这两个问题，现有的多目标跟踪算法无法克服频繁遮挡、场景复杂和相机运动等问题。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于语义信息和场景信息的多目标跟踪方法，其目的在于，通过融合序列信息、语义信息和场景信息，提高多目标跟踪的鲁棒性。

为实现上述目的，按照本发明的一个方面，提供了一种基于语义信息和场景信息的多目标跟踪方法，包括如下步骤：

(1)分别预测场景中各个跟踪目标在当前帧中的位置，利用已训练好的检测模型对所预测的位置进行修正并获得其语义得分；

(2)将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合语义得分和相似度，从而得到目标框的跟踪得分；

(3)根据目标框的跟踪得分更新场景网格的场景模型，根据场景模型计算目标框的场景置信度，并根据场景置信度更新目标框的跟踪得分；

(4)利用检测模型获得当前帧的检测结果，将目标框与检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果；

其中，检测模型以VGG16的前12层为基础网络的Faster-RCNN，检测模型用于检测图像中的各个目标并得到每个检测位置的语义得分；语义得分用于表示对应位置处的目标为跟踪目标的可能性，历史轨迹为跟踪目标在起始帧至上一帧中的位置序列，场景网格为由场景图像预先划分所得的网格，场景模型用于计算目标框的场景置信度，场景置信度用于表示跟踪目标出现在场景网格中的可能性。

进一步地，步骤(1)包括：