[发明专利]基于稀疏点云的单目感知修正方法、装置及存储介质

说明书

本发明公开了一种基于稀疏点云的单目感知修正方法、装置及存储介质，该方法包括：采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；对原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，三维检测结果包括目标深度值和二维边界框；获取转换矩阵；基于转换矩阵，将原始稀疏点云数据映射到图像平面的对应位置，得到点云投影深度图，为点云投影深度图中的每个二维边界框设置一个点云框，该点云投影深度图中包括原始稀疏点云数据对应的多个投影点，每个投影点包括点云深度值；基于所有点云框中所包含的投影点的点云深度值，对多个目标的目标深度值进行修正。本发明通过设计点云框特性，提高对目标深度值修正的准确性。

技术领域

本发明涉及自动驾驶领域，尤其涉及一种基于稀疏点云的单目感知修正方法、装置及存储介质。

背景技术

智能感知是自动驾驶的重要环节，是车辆和环境之间交互的纽带。目前主流的感知传感器包括相机、毫米波雷达以及激光雷达等，但是多线束激光雷达非常昂贵不适合量产，而低线束激光雷达和毫米波雷达获得的点云又非常稀疏，不适合直接用来做三维障碍物感知。与双目相机相比，单目相机相对来说是一种廉价的传感器，在障碍物检测和跟踪方面有着得天独厚的优势，然而单目相机在深度信息感知方面存在局限。

现有技术中，常采取单目相机数据与稀疏点云数据融合的方案，但现有数据融合方案中，需要对稀疏点云数据执行目标检测算法，造成算法复杂度增加的情况下，目标深度估计偏差较大，检测效果提升有限。

发明内容

本发明的目的在于提供一种基于稀疏点云的单目感知方法，用于解决现有技术中在对单目相机的深度信息进行修正时，算法复杂度高及目标深度估计偏差较大的问题。

为了达到所述目的，本发明采用的技术方案是：

第一方面，本发明实施例提供一种基于稀疏点云的单目感知方法，包括：

采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；

对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；

获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；

基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；

基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。

第二方面，本发明实施例还提供了一种基于稀疏点云的单目感知修正装置，包括：

数据采集模块，用于采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；

第一处理模块，用于对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；

参数获取模块，用于获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；

第二处理模块，用于基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；

深度修正模块，用于基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。