[发明专利]一种基于特征聚合的多目标跟踪方法

权利要求书

1.一种基于特征聚合的多目标跟踪方法，其特征在于，包括以下步骤：

步骤一：逐帧读取视频帧，以及相应的每一帧的检测框，并送入网络；

步骤二：使用Single Shot目标跟踪与Identity-Aware特征聚合的多目标跟踪方法对视频帧间的检测框进行匹配关联；包括以下子步骤：

(2.1)使用在ImageNet上预训练的ResNet-34模型作为基础的特征提取网络来为相邻帧提取出特征图，它包含了五大块卷积层Conv1-Conv5；

(2.2)将相邻两帧的特征图联结到一起作为Single Shot目标跟踪分支的输入，通过两个全卷积网络，Single Shot目标跟踪分支输出一个分类图和一个回归图，在网络训练时，对于分类图来说，如果一个坐标框同时出现在两帧中，那么它的内部一块中心区域的标签为1，内部的其余区域标签为0，如果一个坐标框只出现在前一帧，在后一帧不存在，那么它的内部区域的标签为0，坐标框的外部区域的标签为-1，也就是忽略区域；对于回归图来说，只有当一个坐标框同时出现在两帧中时，该坐标框内部的一块中心区域的每一个点才需要预测其到下一帧ground-truth坐标四边的距离；

(2.3)首先使用ROI Align为两帧的检测框分别提取出目标特征，然后使用Identity-aware特征聚合组件来提升目标特征的区分性，具体地，分别使用两个全连接层提取出两帧目标的嵌入特征，然后对于每一个当前帧的目标来说，使用嵌入特征点乘前一帧的目标嵌入特征，得到一组加权系数，该加权系数通过identity-aware的loss进行监督训练，只有是同一个目标时，对应的标签才为1，否则为0，然后将加权系数使用Softmax归一化用于加权求和前一帧的目标特征，有了identity-aware的loss的监督，网络倾向于将同一个目标的特征整合在一起；对于每一个前一帧的目标，采用相似的操作，这样两帧的目标都互相整合另一帧的同一个目标，进而提升目标特征的区分性，最后计算相邻两帧的目标相似度得分，并通过reid loss来训练区分相邻帧的同一个目标；

(2.4)首先使用Single Shot目标跟踪分支，将前一帧的目标跟踪到当前帧，具体地，对于每一个目标框，预测多个跟踪框，选取Top k跟踪框并将它们平均起来得到最终的跟踪框，然后将跟踪框与检测框使用IOU的阈值整合起来作为当前帧最终的检测框，最后将当前帧最终的检测框与前一帧的目标框通过reid分支得到相似度矩阵，并使用匈牙利算法进行数据关联得到最终的跟踪轨迹片段；

步骤三：输出关联之后的检测框。

2.根据权利要求1所述基于特征聚合的多目标跟踪方法，其特征在于，步骤(2.4)中，k＝2。

3.根据权利要求1所述基于特征聚合的多目标跟踪方法，其特征在于，步骤(2.4)中，IOU＝0.3。