[发明专利]一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法

说明书

本发明公开了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：接收激光雷达采集的点云和相机采集的RGB图像；将点云数据输入三维检测器得到三维检测结果；将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络，实时更新跟踪器，循环完成目标跟踪；所述端到端多目标跟踪网络，用于基于RGB图像和三维检测结果，并结合上一帧轨迹的运动特征和外观特征，分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联，并结合遮挡情况更新跟踪器实现目标跟踪。本发明的方法有效地融合了多源信息，并考虑到图像中目标容易存在遮挡，构建了遮挡网络进一步优化外观特征，提高了多目标跟踪算法的准确性。

技术领域

本发明涉及自动驾驶技术领域，提出一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法。

背景技术

近些年来，无人驾驶技术领域发展迅速，在无人驾驶技术中感知技术是不可或缺的一环。无人驾驶车辆依赖激光雷达、相机、轮速里程计等传感器对环境进行感知，如车道线检测、三维目标检测都属于无人驾驶技术的基本功能。而三维多目标跟踪是基于基本功能之上的辅助决策功能，三维多目标跟踪算法根据检测器所检测到的目标的状态来对每个目标的状态进行预测进一步完成自动驾驶任务的决策。通过对目标的状态进行预测，对存在的风险进行分析；达到对车辆的驾驶行为提供更为精准的控制，从而提高驾驶的安全性和舒适性。

作为自动驾驶(辅助驾驶)系统的辅助决策功能之一，三维多目标跟踪可以认为是决策中极为重要的一环，对检测场景的目标一一分配状态并且随着时间的增加一直跟踪这个目标。多目标跟踪算法不仅完善了检测器的信息，还能对后续自动驾驶的决策提供了巨大的帮助。

当前，国内外均对三维多目标跟踪技术有了一定的研究，从数据输入角度出发，针对三维多目标跟踪任务的数据输入来源主要来自于相机和激光雷达这两类传感器。相机作为针孔模型的感光元器件，会提供类似于人眼直观感受的图像信息；而激光雷达作为一种主动采集式的传感器，能够通过发射接收激光，得到场景中目标的真实空间坐标信息。

从领域当前的研究现状来看，这两种传感器都广泛应用于三维多目标跟踪。然而，这两种传感器都有着很明显的缺陷。对于相机来说，图像作为一种稠密的2D表现方式，通过像素位置和像素数值来表达空间信息，压缩了Z轴的深度信息，这会导致在三维多目标跟踪任务中难以预测物体的空间绝对位置；另外，相机镜头还对光线的变化十分敏感，时常会出现过曝或者过暗的情形，在这种场景下采集到的数据难以辨识，缺失有效信息；同时目标被遮挡时图像信息的缺失导致对目标的跟踪也造成了极大的隐患。而对于激光雷达来说，虽然可以得到目标精确的空间位置信息，但是激光雷达作为主动式传感器，只能接受由传感器发射的激光信号，无法接受物体通过可见光反射的信号，所以无法得到物体的颜色纹理等特征信息；再者，激光的波长十分短，这又导致激光雷达的数据对于特殊天气十分敏感，比如在雨雪天气下得到的激光雷达点云通常会出现很多噪点。

综上所述，如果使用图像作为主要的输入信息，在遮挡等条件导致目标图像信息缺失的时候，跟踪系统将会出现严重的失灵，无法准确定位目标的位置极大影响跟踪的准确度，此外图像中缺乏空间距离信息也造成了多目标跟踪的位置预测的短板。激光雷达点云虽然可以克服光照变化的问题，但点云的稀疏性和无序性也限制了其跟踪的性能。因此，针对单纯使用车载相机或激光雷达时跟踪准确率总是存在着缺陷。一种新颖的思路是考虑结合更多的传感器，并进行数据融合以提高对环境感知的能力。但现阶段大量的实验表明，如果只是简单的对激光雷达获得的点云信息和相机获得的RGB图像做像素级融合，不仅不会使多目标跟踪算法的准确度提升，反而会起到负面作用，通常都会在一定程度上降低多目标跟踪的准确度。不仅如此，这样的计算也会极大增加计算复杂度，对整体的系统耗时产生巨大的影响。

发明内容

本发明的目的在于克服现有技术缺陷，提出了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法。

为了实现上述目的，本发明提出了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：