[发明专利]一种改进的高精度端到端车辆多目标跟踪方法

说明书

本发明涉及一种改进的高精度端到端车辆多目标跟踪方法，包括：基于改进的Faster R‑CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。本发明改进了Quasi‑Dense跟踪方法，结合了注意力机制、自适应等思想，提升模型对于尺度变化较大的目标检测和跟踪的能力，在网络结构中使用空间注意力机制，同时在设定锚框时使用启发式方法，改进模型的跟踪效果，有效的降低了跟踪时ID切换的次数。

技术领域

本发明涉及自动驾驶多目标跟踪技术领域，具体是一种改进的高精度端到端车辆多目标跟踪方法。

背景技术

多目标跟踪是计算机视觉的一个关键问题，通常用于无人驾驶领域，通过跟踪车辆附近目标的运动，实时并且准确地判断周围车辆以及行人轨迹，为无人驾驶决策模块提供数据支持，并在危险发生前及时减速避让，尽可能避免交通事故。

多目标跟踪通常基于先检测后跟踪的多目标跟踪框架，主要包括目标检测、特征提取、目标关联三个部分。随着检测技术的发展，基于检测的多目标跟踪算法发展较快，比如sort跟踪器使用简单的卡尔曼滤波逐帧处理数据关联，并使用匈牙利算法进行目标匹配。DeepSort模型在sort跟踪器的基础上改进，使用卷积神经网络完成重识别，提取目标表观特征进行最近邻匹配，在改善遮挡问题的同时，减轻了身份识别错误的现象；并在被检测目标与跟踪轨迹关联问题上使用级联匹配方法，对出现频率较为频繁的目标赋予优先匹配权，解决连续预测的概率弥散问题。

基于检测方法的三个模块(目标检测、特征提取、目标关联)是相互独立的，使得这种方法跟踪时间较长且无法进行全局优化，很多研究者对端到端跟踪方法展开了研究。端到端跟踪方法不再将检测和跟踪看成两个独立的步骤，而是将检测和跟踪联合优化，典型的工作包括DetectTrack模型、Tracktor以及Quasi-Dense等。DetectTrack模型采用基于相关性的回归跟踪器完成跟踪，完成了目标检测和跟踪工作的联合优化，Tracktor直接采用探测器进行跟踪，但它高度依赖于小的先验跨框架位移，本发明提出的基于Faster R-CNN算法的Quasi-Dense跟踪方法提出了准稠密匹配方法，只将对象与特征嵌入相关联，具有更好的精度。

发明内容

本发明提出一种改进的高精度端到端多目标车辆跟踪方法，针对无人驾驶场景下，车辆多目标跟踪中跟踪标识错配问题，改进Quasi-Dense端到端跟踪方法的网络结构，提高模型跟踪的精度。

为实现上述目的，本发明提供了如下方案：

一种改进的高精度端到端车辆多目标跟踪方法，包括：

基于改进的Faster R-CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。

优选的，在所述改进的Faster R-CNN模型中，骨干网络采用resnet50网络结构，用于提取输入图像的卷积特征，得到特征图。

优选的，对所述resnet50网络结构中的可变卷积与仅使用键值内容特征的Transformer组合模块进行整合，并应用在所述骨干网络中conv4和conv5矩阵卷积运算中。

优选的，对所述可变卷积与仅使用键值内容特征的Transformer组合模块进行整合的过程包括：

以Quasi-Dense作为基线，在所述骨干网络中加入空间注意力机制，基于所述空间注意力机制，计算所述可变卷积和Transformer组合模块的多头注意力特征，在所述可变卷积中调整元素的采样位置，得到每个查询键值对的注意力权重。

优选的，所述多头注意力特征的表达式为：