[发明专利]图像和激光点云融合的目标追踪方法、计算装置和介质

说明书

基于2D图像数据和3D激光点云数据来追踪车辆周围的目标的目标追踪方法、计算装置、计算机可读介质，目标追踪方法包括：获得所追踪目标在3D空间中的K时刻的最优估计；利用K时刻的最优估计获得3D空间中的K+1时刻的预测值；判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；在判断不能时，利用K时刻的最优估计，将追踪目标投影到2D图像空间中，计算2D图像空间中对应目标投影区域的K时图像特征；利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。解决了在追踪过程中由于中远距离的激光点云稀疏以及消失等导致丢失追踪对象的问题，能够实时地准确地追踪对象，对于自动驾驶领域的准确追踪对象具有突出的作用。

技术领域

本发明总体地涉及自动驾驶环境感知技术领域，具体涉及一种图像和激光点云融合的对象追踪方法。

背景技术

对象追踪技术是目前自动驾驶、视频监控，人机交互等领域的一个重要研究内容。在自动驾驶领域中，对象跟踪就是持续获取周围各类对象(车辆、行人、自行车、摩托车、动物等)的信息，并将不同帧之间的同一对象进行对应。由于行驶环境复杂多变，追踪过程通常需要融合多个传感器的数据，使用激光雷达和摄像机是当前较为实际的选择。然而，对于激光雷达而言，随着距离的增加，物体所反射的激光点会变得十分稀疏，远距离甚至不存在激光点云。而对于摄像机所采集的图像，能够包含中远距离的物体RGB信息，却缺乏深度信息。难点是，在远距离对象点云稀疏或者对象上的激光点云消失时，如何利用相机的2D信息进行弥补，使得3D空间中的对象能够被持续追踪。

专利文献US9183459公开了一种通过传感器融合提高检测可信度的方法，其在3D空间和2D空间分别进行了目标检测，3D检测方法为线性支持向量机，2D检测方法为DPM(Deformable parts model)，最后将目标检测的结果进行融合。对于每个3D检测的结果，与2D检测的窗口进行对比，并调整置信度。该方法是针对3D和2D空间分别检测并融合，如果2D有检测结果而3D无检测结果，该方法会惩罚DPM的置信度但无法解决3D数据缺失的问题。

专利文献CN108596081公开了一种基于雷达和摄像机融合的车辆行人探测方法，其采用摄像机采集前方场景信息，对采集到的图像使用区域提议卷积神经网络算法提取感兴趣的区域，同时对区域中的目标进行分类和定位，得到目标的识别结果，联合标定雷达和摄像机，循环计算雷达探测坐标系中的该坐标与雷达返回的探测结果偏差的最小值，最小值对应的探测目标就是摄像机探测到的目标在雷达坐标系中的探测结果，融合得到目标坐标和类别。但是其通过使用摄像机的内外参数，将图片中目标从图片像素坐标转换到车辆坐标系中得到目标在场景直角坐标系中的位置，该方法从2D空间投影到3D空间，2D本身缺乏深度，投影结果准确度较低。

非专利文献“Precision tracking with sparse 3D and dense color 2D data”公开了一种将稀疏激光点与高分辨率相机图像相结合，以获得密集彩色点云的方法。其思想是将已经聚类后的3D激光点投影到2D相机图片中，对于投影后形成的凸包中的每一个像素点，找到它临近四个象限的投影点；在3D空间找到雷达和目标车辆之间的点，作为遮挡点，投影到2D中，得到其周围四个象限的投影点；在3D空间中计算距离，大于阈值则去除遮挡点，不作插值运算。最后，用非线性插值来估计每个像素的3D位置。该方法是将稀疏的点云进行生成扩充，但对于中远距离点云严重缺失的情况并不适用。

非专利文献“带有量测数据丢失的虚观测鲁棒卡尔曼滤波算法”提出了一种基于虚观测值的鲁棒卡尔曼滤波算法，其针对伯努利分布描述的量测数据丢失的模型，使用趋势移动平均法来构造丢失数据时刻的虚观测值，并应用基于Huber方法的鲁棒卡尔曼滤波对当前状态进行估计。但其由历史数据所产生的虚观测值与实际观测值相比同目标真实信息的偏差会偏大，因此经过滤波跟踪后，其均方根误差比没有数据丢失情况的鲁棒卡尔曼滤波算法大。