[发明专利]一种基于视觉的智能网联公交场景下目标跟踪方法及系统

权利要求书

1.一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的智能网联公交车场景下目标跟踪方法包括：

步骤1：获取智能网联公交场景下训练图像集合；

步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；

步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；

步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。

2.根据权利要求1所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的目标检测模型包括：

主干特征提取网络，采用ResNet-34为主干网络，并使用深层聚合算子DLA对ResNet-34主干网络进行改进；主干特征提取网络的输入为图像，输出为四个高分辨率特征图，其中三个特征图输入物体检测分支，一个特征图输入ID嵌入分支；

物体检测分支，使用Heatmap Head、Box Size Head和Center Offset Head三个并行回归头附加到主干特征提取网络用于分别估计热图Heat map、边界框大小Box size和对象中心偏移Center offset；

Re-ID检测分支，用于生成可以区分不同对象的Re-ID特征。

3.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Heatmap Head损失函数具体为：

对于图像中心的每个GT框计算物体中心为和然后在特征图上的位置由除以步长得到，即然后在位置(x,y)的热图响应计算为：

其中，N表示图像中物体的数量，σ_c为标准差；

Heatmap Head损失函数定义为具有focal loss的像素级逻辑回归：

这里的是预测的heatmap特征图；M是heatmap的ground-truth；α和β为参数。

4.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Box Size Head和Center Offset Head的损失函数具体为：

将Box Size Head和Center Offset Head的输出表示为和对于图像中的每一个GT box，设置L₁损失函数：

其中，N为一幅图像中物体总数量；和分别为Center Offset Head预测特征图和BoxSize Head预测特征图；

ground-truth特征图分别设置如下：

其中，(x₁,y₁)为物体的左上角坐标；(x₂,y₂)为物体的右下角坐标；(c_x,c_y)为物体的中心坐标。

5.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Re-ID检测分支的损失函数具体为：

其中，p(k)为第k个物体的预测类别，即ID编号的可能性分布；L(k)为第k个物体真实的onehot编码。

6.根据权利要求1所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的基于DeepSORT的目标追踪模型具体为：

首先，根据目标检测模型检测到的Bbox数据生成当前帧检测框detections；

其次，使用卡尔曼滤波预测前一帧中的跟踪框tracks在当前帧的状态；

随后，计算跟踪框tracks和检测框detections的代价矩阵，根据代价矩阵进行匹配，获得当前帧的所有匹配对、未匹配的跟踪框tracks以及未匹配的detections；

最后，对于每个匹配成功的跟踪框track，用其对应的检测框detection进行更新，并处理未匹配的跟踪框tracks和检测框detections。