[发明专利]基于相机和激光雷达的多类目标检测方法

说明书

本发明公开了基于相机和激光雷达的多类目标检测方法，主要解决现有目标检测方法检测精确度低的问题。其实现方案为：获取路面图像和点云数据；对点云数据进行体素化预处理；对预处理后的点云进行空间信息加强；对空间信息加强后的点云进行颜色信息融合；对融合后的点云进行卷积获得双加强伪图像；根据双加强伪图像得到待检测特征图；将待检测特征图送入SSD检测器，生成汽车行进过程中对前方目标的检测结果。本发明通过建立模态内映射矩阵和采样增强了点云的空间信息，通过尺寸调整和生成伪视图变换矩阵将RGB图像的颜色信息与点云进行融合，提高了目标检测的精确度，可用于无人汽车的自动驾驶。

技术领域

本发明属于物理技术领域，更进一步涉及一种多类目标检测方法，可用于无人汽车的自动驾驶。

背景技术

相机作为无人汽车驾驶系统中最常用的传感器，它获得的图像包含外界环境的颜色信息，在目标检测中发挥极其重要的作用，但其缺点是缺乏深度信息且会受到自然条件的影响。激光雷达拥有对照明条件依赖性低、不容易受到恶劣天气的影响、探测精度高的优点。它产生的数据为点云数据，通过分析并处理点云数据，可以获得更详细的目标形状和位置信息，有助于汽车更好的了解环境，可以提供更加稳定且精准的感知结果。所以，无人汽车利用相机和激光雷达产生的数据进行融合，以检测汽车行进过程中位于该车前方的目标，如汽车、行人、骑车的人已成为一种趋势。

目前，对于相机和激光雷达这两类传感器数据融合算法分为三类：前端融合、深度融合、后端融合。前端融合，主要针对数据层面的融合，它将不同模态的数据在输入之前先融合为单一的特征向量，然后输入进行后续操作。其数据既可以是来自传感器的原始数据，也可以是经过预处理的数据。深度融合，主要针对特征层面的融合，其将不同模态的原始数据在提取特征之后先转化为高维特征表达，再在不同的特征层中做一些交互融合操作。后端融合，主要针对决策层面的融合，其对不同模态的原始数据用各自的网络处理，输出分类分数，在分数上进行融合。

中诚华隆计算机技术有限公司在其申请号为：CN202211082826的专利文献中公开了一种“基于多传感器数据融合的自动驾驶决策方法及SoC芯片”，其将点云数据输入训练好的点云目标检测神经网络模型，进行障碍物目标检测。该方法虽然使用了相机，但在障碍物检测上，只利用激光雷达采集到的点云数据，未能充分利用传感器数据，对于获得图像只用来检测车道而忽略了颜色信息对于障碍物的重要性，使得无法对障碍物进行高效检测。

斯润天朗(北京)科技有限公司在申请号：CN202211314591的专利文献中公开了一种“基于场景感知的V2X多传感器融合方法及装置”，其将获取到的传感器数据先进行时间同步预处理操作，再对预处理后的两类数据进行比较，获取传感器之间的相关系数和各个传感器的置信度，从而进行场景判断；最后，基于判断后的场景和输入的传感器的类型，确定预设的神经网络中的各个传感器的融合权重，得到融合结果。该方法由于对不同传感器数据的融合发生在决策层面，忽略了不同传感器数据之间的关系，因而无法互补不同模态数据之间的特点，最终降低了目标检测的精确度。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于相机和激光雷达的多类目标检测方法，旨在解决单激光雷达目标检测算法缺失颜色信息的弊端，以及决策级融合无法充分考虑不同模态数据的特性关系的弊端，提高目标检测的精度。

本发明的技术思路是：通过对RGB图像设置一路图像辅助处理分支，对点云设置一路点云主处理分支和一路点云辅助处理分支，以解决单激光雷达目标检测缺少颜色信息的问题；通过单模态自融合，将点云辅助处理分支的空间信息能融合入点云主处理分支，以解决决策级融合无法互补不同模态数据之间特点的问题。

根据上述思路，本发明实现步骤包括如下：

(1)分别通过传感器获得数据，相机获得RGB图像F₁，激光雷达获得点云R₁(x,y,z,r)；