[发明专利]一种基于特征聚合的多目标跟踪方法

说明书

本发明公开了一种基于特征聚合的多目标跟踪方法，该方法将多目标跟踪任务分为基于Single Shot的目标跟踪与Identity‑Aware特征聚合的数据关联部分，Single Shot的目标跟踪一次性将前一帧所有的目标跟踪到当前帧中，Identity‑Aware特征聚合的数据关联聚合相邻帧同一物体的特征。本发明提出的Single Shot的目标跟踪为所有目标共享计算，使得多目标跟踪方法的速度不受目标数量的影响；本发明提出的Identity‑Aware特征聚合的数据关联提升了物体特征的区分性，使得数据关联部分更加准确。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于特征聚合的多目标跟踪方法。

背景技术

多目标跟踪(Multi-Object Tracking)领域最近的研究趋势是将运动模型和外观模型整合到同一个网络框架中，这样可以使得网络共享计算并且支持端到端的训练。然而大多数方法仍然为每一个目标使用单独的单目标跟踪器来捕获运动信息，当视频中有大量的需要跟踪的目标的时候，这会导致大量的计算量并极大的降低网络的速度。此外，目标的外观特征由于目标扭曲也缺乏足够的区分性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于特征聚合的多目标跟踪方法。

本发明的目的是通过以下技术方案来实现的：一种基于Single Shot目标跟踪与Identity-Aware特征聚合的多目标跟踪方法，包括以下步骤：

步骤一：逐帧读取视频帧，以及相应的每一帧的检测框，并送入网络。

步骤二：使用Single Shot目标跟踪与Identity-Aware特征聚合的多目标跟踪方法对视频帧间的检测框进行匹配关联。

步骤三：输出关联之后的检测框。

进一步地，所述步骤二包括以下子步骤：

(2.1)使用在ImageNet上预训练的ResNet-34模型作为基础的特征提取网络来为相邻帧提取出特征图，它包含了五大块卷积层Conv1-Conv5。

(2.2)将相邻两帧的特征图联结到一起作为Single Shot目标跟踪分支的输入，通过两个全卷积网络，Single Shot目标跟踪分支输出一个分类图和一个回归图，在网络训练时，对于分类图来说，如果一个坐标框同时出现在两帧中，那么它的内部一块中心区域的标签为1，内部的其余区域标签为0，如果一个坐标框只出现在前一帧，在后一帧不存在，那么它的内部区域的标签为0，坐标框的外部区域的标签为-1，也就是忽略区域；对于回归图来说，只有当一个坐标框同时出现在两帧中时，该坐标框内部的一块中心区域的每一个点才需要预测其到下一帧ground-truth坐标四边的距离。

(2.3)首先使用ROI Align为两帧的检测框分别提取出目标特征，然后使用Identity-aware特征聚合组件来提升目标特征的区分性，具体地，分别使用两个全连接层提取出两帧目标的嵌入特征，然后对于每一个当前帧的目标来说，使用嵌入特征点乘前一帧的目标嵌入特征，得到一组加权系数，该加权系数通过identity-aware的loss进行监督训练，只有是同一个目标时，对应的标签才为1，否则为0，然后将加权系数使用Softmax归一化用于加权求和前一帧的目标特征，有了identity-aware的loss的监督，网络倾向于将同一个目标的特征整合在一起。对于每一个前一帧的目标，采用相似的操作，这样两帧的目标都互相整合另一帧的同一个目标，进而提升目标特征的区分性，最后计算相邻两帧的目标相似度得分，并通过reid loss来训练区分相邻帧的同一个目标。