[发明专利]一种基于视觉的智能网联公交场景下目标跟踪方法及系统

说明书

本发明涉及一种基于视觉的智能网联公交场景下目标跟踪方法及系统，其中目标跟踪方法包括：步骤1：获取智能网联公交场景下训练图像集合；步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。与现有技术相比，本发明具有精度高、速度快等优点。

技术领域

本发明涉及目标追踪技术领域，尤其是涉及一种基于视觉的智能网联公交场景下目标跟踪方法及系统。

背景技术

随着5G、人工智能、应用物联网等前沿技术的快速发展，基于车路云协同的智能网联公交可以为相关城市廊道的发展规划提供可靠、高效、便捷的公共交通智能出行方案。其中，可利用基于5G的车路协同超视距全息感知与边缘云计算技术来保障车辆运行的安全可靠性，而超视距的全息感知则必须依赖于对于道路交通参与者准确的目标跟踪。

多目标跟踪(MOT)是计算机视觉领域的重要任务，在智能监控系统、无人驾驶、人机交互，智慧交通等领域有着广泛的应用。是利用一个视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标的运动状态进行预测并标定目标位置的一种技术。多目标跟踪顾名思义就是跟踪视频画面中的多个目标，得到这些目标中的运动轨迹，其核心在于目标检测和数据关联，即在每一帧进行目标检测，再利用目标检测的结果来进行目标跟踪，后面一步一般称之为数据关联，数据关联更多依赖于手工特征提取(外观特征、运动特征、形状特征等)。

公共交通的载客率大，资源利用率高，是城市交通系统中的重要组成部分，智能网联公交作为现阶段网联公交发展的最理想方向，在其运行过程中需要对车辆所在道路上的各类目标进行追踪，避免其与网联公交相碰撞，对追踪方法的精度和速度要求较高，现有技术中还未有一种针对智能网联公交的目标追踪方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精度高、速度快的基于视觉的智能网联公交场景下目标跟踪方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于视觉的智能网联公交场景下目标跟踪方法，所述的智能网联公交车场景下目标跟踪方法包括：

步骤1：获取智能网联公交场景下训练图像集合；

步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；

步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；

步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。

优选地，所述的目标检测模型包括：

主干特征提取网络，采用ResNet-34为主干网络，并使用深层聚合算子DLA对ResNet-34主干网络进行改进；主干特征提取网络的输入为图像，输出为四个高分辨率特征图，其中三个特征图输入物体检测分支，一个特征图输入ID嵌入分支；

物体检测分支，使用Heatmap Head、Box Size Head和Center Offset Head三个并行回归头附加到主干特征提取网络用于分别估计热图Heat map、边界框大小Box size和对象中心偏移Center offset；

Re-ID检测分支，用于生成可以区分不同对象的Re-ID特征。

更加优选地，所述的Heatmap Head损失函数具体为：

对于图像中心的每个GT框计算物体中心为和然后在特征图上的位置由除以步长得到，即然后在位置(x,y)的热图响应计算为：