[发明专利]基于孪生网络结构和注意力机制的在线多目标跟踪方法

说明书

本发明提出了基于孪生网络结构和注意力机制的在线多目标跟踪方法，在线多目标跟踪是仅使用过去信息来扩展多目标轨迹的过程。在此过程中，跟踪漂移，漏检和物体之间的遮挡是常见的问题。对于跟踪漂移，本发明提出了一种新的多目标跟踪算法，该算法包含基于孪生网络结构的YOLOv3和KCF的融合框架，并设计了一种线性回归模型(LRM)，该模型可以同时对目标进行检测和跟踪，而线性回归模型可将检测结果和跟踪结果结合起来以抑制跟踪漂移。此外，为了克服检测遗漏和遮挡问题，本发明提出了一种基于注意力机制的结构相似度计算方法(SSC)，该方法首先利用注意机制学习和提取每个对象的辨别特征，最后利用结构相似性计算获取目标与轨迹之间的关联性。最终，在这些基础上，设计了一种多目标跟踪策略，可稳定地实现每一条轨迹的初始化(Initialize)，延展(Extend)和终止(Inactivate)。

技术领域

本发明涉及视觉领域，更具体地，涉及多目标跟踪领域。

背景技术

多目标跟踪(Multi-object tracking MOT)技术在实际应用中被广泛使用，例如自动驾驶，人机交互，视频监控和虚拟现实等。对于MOT的概念，该过程主要是确定多帧连续图像中多个目标的位置，同时确定每个可见目标的轨迹。它的关键技术是轨迹的初始化，延展和终止。MOT主要分为两个阶段：对图像执行目标检测；计算前后帧图像中的目标相关性并生成相应轨迹。而在多目标跟踪过程中，存在两个关键性问题：漏检和不准确检测的问题以及由于目标遮挡所造成的难以关联问题。因此本发明提出一种基于孪生结构的YOLOv3与KCF算法的融合框架，用于抑制目标检测的漏检和不准确检测；设计了基于注意力机制的图像结构相似性算法框架，增加目标与轨迹的关联性的计算能力。最终，在这些基础上设计了多目标跟踪策略，实现了对外界场景中目标的长时间跟踪。

发明内容

针对这些挑战，本发明提出了一种基于集成框架和注意力(IFA-MOT) 的长期在线多目标跟踪方法，可以有效地保证长期的MOT。结构相似度计算，用于解决大量相似物体和物体不规则运动的问题：首先，通过同一网络提取当前帧图像的特征和过去帧图像中被跟踪物体的特征；然后分别使用检测模型和跟踪模型获得检测和跟踪结果。最后，基于注意力机制和位置信息的结构相似度计算被用于关联检测和跟踪结果。

第一方面，本发明提出一种探测器-跟踪器集成框架(DTI)，该框架可以同时完成对象的在线检测和跟踪，并为MOT提供更丰富的位置信息。设计线性回归模型(LRM)将跟踪结果与检测结果结合起来，可以抑制检测漂移。

第二方面，本发明提出了一种基于注意力机制的结构相似度计算方法，以获取物体本身的独特性并增加物体与轨迹之间的相关性。该方法能够更好地处理由不规则运动引起的轨迹中断，姿势变化和闭塞问题。

第三方面，本发明设计基于以上两个方面，建立了一个多阶段的MOT 策略(MOTS)，以形成一个完整的在线MOT系统。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明的KCF算法的优化框架示意图。

图2示出了根据本发明例的YOLOv3算法和优化后的KCF算法的融合框架示意图。

图3示出了根据本发明的YOLOv3算法和KCF算法中的f_x所提取的特征图。

图4示出了根据本发明的基于注意机制(SSC)的结构相似性计算示意图。

图5示出了根据本发明的多目标跟踪策略(MOTS)示意图。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中。

具体实施方式