[发明专利]基于视觉与激光雷达联合的三维物体检测方法及系统

说明书

本发明公开了一种基于视觉与激光雷达联合的三维物体检测方法及系统，包括：获取当前点云帧和当前视频帧；对当前视频帧进行视觉检测，得到各个视觉检测结果；对各个视觉检测结果进行深度判断，得到视觉近似深度；将当前点云帧转换为稀疏深度图像，并根据各个视觉检测结果提取稀疏深度图像中的候选深度检测框；根据候选深度检测框与视觉近似深度，构建当前点云帧的候选点簇；基于各个视觉检测结果与对应候选点簇构造三维物体检测结果。不仅能区分中近距离和远距离进行三维物体检测；还能处理视觉二维物体检测结果中检测框中包含场景背景及相邻物体的误差，及场景中的遮挡现象，提高移动平台感知环境的距离范围和三维物体检测的效果。

技术领域

本发明涉及三维物体检测技术领域，具体是一种基于视觉与激光雷达联合的三维物体检测方法及系统。

背景技术

三维物体检测在自动驾驶、移动机器人等应用领域的环境感知中具有重要作用，通常使用多线激光雷达、深度相机、立体视觉与单目视觉计算深度等传感器获得三维测量数据。

多线激光雷达测量得到的三维点云具有空间坐标和深度信息，在自动驾驶车辆和移动机器人领域被广泛采用，但激光雷达点云的垂直方向分辨率较低且激光测量点随着测量距离增大而变得稀疏，导致其对于小物体和远处物体的测量存在不足。毫米波雷达能直接测量物体的径向速度，但测量点稀疏，而且噪声因素明显。深度相机通过发射红外波段的光束，直接获得场景深度图与点云。但在室外受到阳光的影响而且测距量程通常小于二十米。立体视觉通过计算视差图得到稠密的深度图，单目视觉通过深度神经网络的训练和推理，能够用单目图像计算出深度图，但在场景中随着测量距离的增大，视觉的深度估算误差也变大。因此多线激光雷达是各类移动平台进行环境感知常用的传感器。

现有的多种基于体素、基于多视角以及基于点特征的一些近期方法被用于多线激光雷达三维物体检测。视觉与毫米波雷达、视觉与激光雷达等多传感器也被用于三维物体检测，但对于远距离物体的三维物体检测效果低于中距离及近距离物体检测的效果。多线激光雷达、单目视觉、双目视觉的三维物体检测效果都随着测量距离的增大及遮挡的存在而下降。

发明内容

针对现有技术中，本发明提供一种基于视觉与激光雷达联合的三维物体检测方法及系统，用于结合两类传感器的特点，提高移动平台感知环境的距离范围和三维物体检测的效果。

为实现上述目的，本发明提供一种基于视觉与激光雷达联合的三维物体检测方法，包括如下步骤：

步骤1，获取多线激光雷达的当前点云帧和视觉测量单元的当前视频帧，其中，视频帧中的视觉物体与点云帧中的激光物体一一对应；

步骤2，对视觉测量单元的当前视频帧进行视觉检测，得到当前视频帧中各个视觉物体的视觉检测结果，其中，所述视觉检测结果包括二维包围框、二维类别与二维置信度；

步骤3，对各个视觉物体的视觉检测结果进行深度判断，得到各个视觉物体的视觉近似深度；

步骤4，将多线激光雷达的当前点云帧转换为稀疏深度图像，并根据各个视觉物体的视觉检测结果提取稀疏深度图像中各激光物体的候选深度检测框；

步骤5，根据各个激光物体的候选深度检测框与对应视觉物体的视觉近似深度，构建当前点云帧中激光物体的候选点簇；

步骤6，基于各个视觉物体的视觉检测结果与对应激光物体的候选点簇构造三维物体检测结果。

在其中一个实施例中，步骤5中，所述根据各个激光物体的候选深度检测框与对应视觉物体的视觉近似深度，构建当前点云帧中激光物体的候选点簇，具体为：

根据激光物体的候选深度检测框内的深度图像素点深度信息，去除噪声、属于场景背景的深度像素点与属于相邻物体的深度像素点，提取与视觉检测结果对应的候选深度像素点集；